近日，baidu ERNIE 升级到 3.0，重磅发布学问增强的百亿参数大模型。该模型除了从海量文本数据中进修词汇、结构、语义等学问外，还从大规模学问图谱中进修。ERNIE 3.0 一举刷新 54 个华文 NLP 任意基准，其英文模型在国际权威的复杂言语懂得任意评测 SuperGLUE 上，以超出人类水平 0.8 个百分点的成绩登顶全球榜首。ERNIE 3.0 同时具备超强言语懂得才能以及写小说、歌词、诗歌、对联等文学创作才能。目前 ERNIE 3.0 已在baidu文心官网开放，用户可体验 ERNIE 3.0 创作的不同形式的内容，实现更多有创意、有价值的应用。
论文链接：https://arxiv.org/pdf/2107.02137.pdf
Demo 链接：https://wenxin.baidu.com/wenxin/ernie
ERNIE 3.0 学问增强大模型：百亿级预训练中首次引入大规模学问近一年来，以 GPT-3、Switch-Transformer 为代表的大规模预训练模型，带来了人工智能领域新的突破，由于其强大的通用性和卓越的迁移才能，掀起了预训练模型往大规模参数化发展的浪潮。然而，现有的大规模预训练模型，主要依赖纯文本进修，缺乏大规模学问指导进修，模型才能存在局限。ERNIE 3.0 的研究者进一步挖掘大规模预训练模型的潜力，基于深度进修平台飞桨的分布式训练技术优势，首次在百亿级预训练模型中引入大规模学问图谱，提出了海量无监督文本与大规模学问图谱的平行预训练方法（Universal Knowledge-Text Prediction）。通过将大规模学问图谱的实体关系与大规模文本数据同时输入到预训练模型中进行联合掩码训练，促进了结构化学问和无结构文本之间的信息共享，大幅提高了模型对于学问的记忆和推理才能。
ERNIE 3.0 中的文本与学问平行预训练。ERNIE 3.0 统一预训练框架：同时具备言语懂得和言语生成才能baidu研究者提出了将通用语义暗示与任意语义暗示相结合的模型框架，该框架融合自编码和自回归等不同的任意语义暗示搜集，既可同时处理言语懂得和言语生成任意，还能做无标注数据的零样本进修（Zero-shot Learning）和有标注数据的微调训练（Fine-tuning）。此外，ERNIE 3.0 在持续进修框架的基础上，增加了任意语义暗示搜集，加速模型进化。
ERNIE 3.0 框架。ERNIE3.0 框架分为两层。第一层是通用语义暗示搜集，该搜集进修数据中的基础和通用的学问。第二层是任意语义暗示搜集，该搜集基于通用语义暗示，进修任意相关的学问。不同任意语义暗示搜集可通过自编码结构或者自回归结构实现，并通过底层共享实现交互和增强。在进修过程中，任意语义暗示搜集只进修对应类别的预训练任意，而通用语义暗示搜集会进修所有的预训练任意。ERNIE 3.0 结果：一举刷新 54 个华文 NLP 任意基准baidu研究者在 54 个华文自然言语处理公开数据集，包含情感分析、观点抽取、阅读懂得、文本摘要、对话生成、数学运算等任意上，全面验证评估了 ERNIE 3.0 的结果和通用才能。ERNIE 3.0 均取得了当前最好结果，其中，在 20 多个不同类型的自然言语处理任意上取得了 3 % 以上的明显提高。
ERNIE 3.0 在 Fine-tuning 范式下的任意结果。在实际应用中，往往缺乏标注数据，因此，baidu研究者也测试了 ERNIE 3.0 在 Zero-shot Learning（零样本进修）范式下的结果，ERNIE 3.0 在大多数任意上相对已有的华文大模型也取得了明显的结果提高。
ERNIE 3.0 在零样本进修下的结果。ERNIE 3.0 英文模型登顶 SuperGLUE：超出人类水平 0.8 个百分点除了华文模型的惊艳结果，ERNIE 3.0 英文模型在国际权威的复杂言语懂得任意评测 SuperGLUE 上超出谷歌的 T5、OpenAI 的 GPT-3 等大模型，以超出人类水平 0.8 个百分点的成绩登顶全球榜首。SuperGLUE 是由谷歌 DeepMind、Facebook 研究院、纽约大学、华盛顿大学等多个权威机构联合发布的复杂言语懂得任意评测，旨在提高常识推理、因果判断、上下文消歧、指代消解等复杂任意的结果。
ERNIE 3.0 登顶 SuperGLUE 全球榜首。 事实上，早在 2019 年 12 月，ERNIE 就曾以 9 个任意平均得分首次突破 90 大关的成绩登顶 GLUE 全球榜首。这次 ERNIE 3.0 在 SuperGLUE 评测上夺冠，再次证明了 ERNIE 的强大实力。
ERNIE 登顶 GLUE 全球榜首。写小说、写歌词、写古文：ERNIE 3.0 文学创作与学问掌握才能明显提高ERNIE 3.0，在文学创作才能方面也有了明显提高，可以通过对海量文本与学问的进修，无需专门训练，即可进行文学创作。
ERNIE 3.0 对学问的掌握，同样大幅提高，通过学问图谱对模型进行增强，让模型具备更强的学问记忆和推理才能。
目前这些才能已经开放体验，大家可以点击（Demo 地址）亲身感受 ERNIE 3.0 的技术魅力。文心 ERNIE 自 2019 年诞生至今，在言语懂得、文本生成、跨模态语义懂得等领域取得一系列技术突破，在公开权威语义评测中斩获了十余项世界冠军。2020 年，文心荣获世界人工智能大会（WAIC）最高奖项 SAIL 奖。目前，文心 ERNIE 已大规模应用于搜索、信息流、智能音箱等互联网产品，并通过baidu智能云输出到工业、能源、金融、通信、媒体、教育等各行各业，助力产业智能化升级。本次发布的 ERNIE 3.0 也将进一步提高应用结果，创造更大的经济与社会价值。
原创文章，作者：机器之心，如若转载，请注明出处：https://www.iaiol.com/news/shua-xin-50-duo-ge-nlp-ren-yi-ji-zhun-bing-deng-ding/
