近日，baidu ERNIE 升级到 3.0，重磅发布常识增强的百亿参数大模型。该模型除了从海量文本数据中进修词汇、结构、语义等常识外，还从大规模常识图谱中进修。
ERNIE 3.0 一举刷新 54 个华文 NLP 恣意基准，其英文模型在国际权威的复杂谈话了解恣意评测 SuperGLUE 上，以逾越人类水平 0.8 个百分点的成绩登顶全球榜首。ERNIE 3.0 同时具备超强谈话了解本领以及写小说、歌词、诗歌、对联等文学创作本领。
目前 ERNIE 3.0 已在baidu文心官网开放，用户可体验 ERNIE 3.0 创作的不同形式的内容，实现更多有创意、有价值的应用。
论文链接：https://arxiv.org/pdf/2107.02137.pdf
Demo 链接：https://wenxin.baidu.com/wenxin/ernie
ERNIE 3.0 常识增强大模型：百亿级预训练中首次引入大规模常识
近一年来，以 GPT-3、Switch-Transformer 为代表的大规模预训练模型，带来了人工智能领域新的突破，由于其强大的通用性和卓越的迁移本领，掀起了预训练模型往大规模参数化发展的浪潮。然而，现有的大规模预训练模型，主要依赖纯文本进修，缺乏大规模常识指导进修，模型本领存在局限。
ERNIE 3.0 的研究者进一步挖掘大规模预训练模型的潜力，基于深度进修平台飞桨的分布式训练技术优势，首次在百亿级预训练模型中引入大规模常识图谱，提出了海量无监督文本与大规模常识图谱的平行预训练方法（Universal Knowledge-Text Prediction）。通过将大规模常识图谱的实体关系与大规模文本数据同时输入到预训练模型中进行联合掩码训练，促进了结构化常识和无结构文本之间的信息共享，大幅提拔了模型对于常识的记忆和推理本领。
ERNIE 3.0 中的文本与常识平行预训练。
ERNIE 3.0 统一预训练框架：同时具备谈话了解和谈话生成本领
baidu研究者提出了将通用语义示意与恣意语义示意相结合的模型框架，该框架融合自编码和自回归等不同的恣意语义示意搜集，既可同时处理谈话了解和谈话生成恣意，还能做无标注数据的零样本进修（Zero-shot Learning）和有标注数据的微调训练（Fine-tuning）。此外，ERNIE 3.0 在持续进修框架的基础上，增加了恣意语义示意搜集，加速模型进化。
ERNIE 3.0 框架。
ERNIE3.0 框架分为两层。第一层是通用语义示意搜集，该搜集进修数据中的基础和通用的常识。第二层是恣意语义示意搜集，该搜集基于通用语义示意，进修恣意相关的常识。不同恣意语义示意搜集可通过自编码结构或者自回归结构实现，并通过底层共享实现交互和增强。在进修过程中，恣意语义示意搜集只进修对应类别的预训练恣意，而通用语义示意搜集会进修所有的预训练恣意。
ERNIE 3.0 后果：一举刷新 54 个华文 NLP 恣意基准
baidu研究者在 54 个华文自然谈话处理公开数据集，包含情感分析、观点抽取、阅读了解、文本摘要、对话生成、数学运算等恣意上，全面验证评估了 ERNIE 3.0 的后果和通用本领。ERNIE 3.0 均取得了当前最好后果，其中，在 20 多个不同类型的自然谈话处理恣意上取得了 3 % 以上的明显提拔。
ERNIE 3.0 在 Fine-tuning 范式下的恣意后果。
在实际应用中，往往缺乏标注数据，因此，baidu研究者也测试了 ERNIE 3.0 在 Zero-shot Learning（零样本进修）范式下的后果，ERNIE 3.0 在大多数恣意上相对已有的华文大模型也取得了明显的后果提拔。
ERNIE 3.0 在零样本进修下的后果。
ERNIE 3.0 英文模型登顶 SuperGLUE：逾越人类水平 0.8 个百分点
除了华文模型的惊艳后果，ERNIE 3.0 英文模型在国际权威的复杂谈话了解恣意评测 SuperGLUE 上逾越谷歌的 T5、OpenAI 的 GPT-3 等大模型，以逾越人类水平 0.8 个百分点的成绩登顶全球榜首。
SuperGLUE 是由谷歌 DeepMind、Facebook 研究院、纽约大学、华盛顿大学等多个权威机构联合发布的复杂谈话了解恣意评测，旨在提拔常识推理、因果判断、上下文消歧、指代消解等复杂恣意的后果。
ERNIE 3.0 登顶 SuperGLUE 全球榜首。
事实上，早在 2019 年 12 月，ERNIE 就曾以 9 个恣意平均得分首次突破 90 大关的成绩登顶 GLUE 全球榜首。这次 ERNIE 3.0 在 SuperGLUE 评测上夺冠，再次证明了 ERNIE 的强大实力。
ERNIE 登顶 GLUE 全球榜首。
写小说、写歌词、写古文：ERNIE 3.0 文学创作与常识掌握本领明显提拔
ERNIE 3.0，在文学创作本领方面也有了明显提拔，可以通过对海量文本与常识的进修，无需专门训练，即可进行文学创作。
ERNIE 3.0 对常识的掌握，同样大幅提拔，通过常识图谱对模型进行增强，让模型具备更强的常识记忆和推理本领。
目前这些本领已经开放体验，大家可以点击（Demo 地址）亲身感受 ERNIE 3.0 的技术魅力。
文心 ERNIE 自 2019 年诞生至今，在谈话了解、文本生成、跨模态语义了解等领域取得一系列技术突破，在公开权威语义评测中斩获了十余项世界冠军。2020 年，文心荣获世界人工智能大会（WAIC）最高奖项 SAIL 奖。
目前，文心 ERNIE 已大规模应用于搜索、信息流、智能音箱等互联网产品，并通过baidu智能云输出到工业、能源、金融、通信、媒体、教育等各行各业，助力产业智能化升级。本次发布的 ERNIE 3.0 也将进一步提拔应用后果，创造更大的经济与社会价值。