2250 
1 |
4667349 ERNIE 2.0模型结构 今天，百度宣布ERNIE升级到了2.0版本，据介绍，继1.0后，ERNIE英文任务在共计16个中英文任务上超过了BERT和XLNet, 取得了SOTA效果。 据了解，该框架支持增量引入词汇(lexical)、语法 (syntactic) 、语义 (semantic) 等3个层次的自定义预训练任务，能够捕捉训练语料中的词法、语法、语义等潜在信息。这些任务通过多任务学习对模型进行训练更新，每当引入新任务时，该框架可在学习该任务的同时，不遗忘之前学到过的信息。这也意味着，该框架可以通过持续构建训练包含词法、句法、语义等预训练任务，持续提升模型效果。目前，百度ERNIE 2.0的Fine-tuning代码和英文预训练模型已开源。
本文来源：网易智能 |
[业界资讯] 百度发布可持续学习的语义理解框架ERNIE 2.0 |
|
|
| ||
最近发表
2023-10-26 12:12
2023-4-23 11:11
2022-8-16 14:50
2022-8-16 14:36
2022-8-16 14:19