刷新50多个NLP任意基准,并登顶SuperGLUE全球榜首,baiduERNIE 3.0学问增强大模型显威力

baidu ERNIE 3.0 不仅一举刷新 54 个华文 NLP 任意基准,而且进一步挖掘大规模预训练模型的潜力,首次在百亿级预训练模型中引入大规模学问图谱。

近日,baidu ERNIE 升级到 3.0,重磅发布学问增强的百亿参数大模型。该模型除了从海量文本数据中进修词汇、结构、语义等学问外,还从大规模学问图谱中进修。ERNIE 3.0 一举刷新 54 个华文 NLP 任意基准,其英文模型在国际权威的复杂言语懂得任意评测 SuperGLUE 上,以超出人类水平 0.8 个百分点的成绩登顶全球榜首。ERNIE 3.0 同时具备超强言语懂得才能以及写小说、歌词、诗歌、对联等文学创作才能。目前 ERNIE 3.0 已在baidu文心官网开放,用户可体验 ERNIE 3.0 创作的不同形式的内容,实现更多有创意、有价值的应用。

论文链接:https://arxiv.org/pdf/2107.02137.pdf

Demo 链接:https://wenxin.baidu.com/wenxin/ernie

ERNIE 3.0 学问增强大模型:百亿级预训练中首次引入大规模学问近一年来,以 GPT-3、Switch-Transformer 为代表的大规模预训练模型,带来了人工智能领域新的突破,由于其强大的通用性和卓越的迁移才能,掀起了预训练模型往大规模参数化发展的浪潮。然而,现有的大规模预训练模型,主要依赖纯文本进修,缺乏大规模学问指导进修,模型才能存在局限。ERNIE 3.0 的研究者进一步挖掘大规模预训练模型的潜力,基于深度进修平台飞桨的分布式训练技术优势,首次在百亿级预训练模型中引入大规模学问图谱,提出了海量无监督文本与大规模学问图谱的平行预训练方法(Universal Knowledge-Text Prediction)。通过将大规模学问图谱的实体关系与大规模文本数据同时输入到预训练模型中进行联合掩码训练,促进了结构化学问和无结构文本之间的信息共享,大幅提高了模型对于学问的记忆和推理才能。

刷新50多个NLP任意基准,并登顶SuperGLUE全球榜首,baiduERNIE 3.0学问增强大模型显威力

ERNIE 3.0 中的文本与学问平行预训练。ERNIE 3.0 统一预训练框架:同时具备言语懂得和言语生成才能baidu研究者提出了将通用语义暗示与任意语义暗示相结合的模型框架,该框架融合自编码和自回归等不同的任意语义暗示搜集,既可同时处理言语懂得和言语生成任意,还能做无标注数据的零样本进修(Zero-shot Learning)和有标注数据的微调训练(Fine-tuning)。此外,ERNIE 3.0 在持续进修框架的基础上,增加了任意语义暗示搜集,加速模型进化。

刷新50多个NLP任意基准,并登顶SuperGLUE全球榜首,baiduERNIE 3.0学问增强大模型显威力

ERNIE 3.0 框架。ERNIE3.0 框架分为两层。第一层是通用语义暗示搜集,该搜集进修数据中的基础和通用的学问。第二层是任意语义暗示搜集,该搜集基于通用语义暗示,进修任意相关的学问。不同任意语义暗示搜集可通过自编码结构或者自回归结构实现,并通过底层共享实现交互和增强。在进修过程中,任意语义暗示搜集只进修对应类别的预训练任意,而通用语义暗示搜集会进修所有的预训练任意。ERNIE 3.0 结果:一举刷新 54 个华文 NLP 任意基准baidu研究者在 54 个华文自然言语处理公开数据集,包含情感分析、观点抽取、阅读懂得、文本摘要、对话生成、数学运算等任意上,全面验证评估了 ERNIE 3.0 的结果和通用才能。ERNIE 3.0 均取得了当前最好结果,其中,在 20 多个不同类型的自然言语处理任意上取得了 3 % 以上的明显提高。

刷新50多个NLP任意基准,并登顶SuperGLUE全球榜首,baiduERNIE 3.0学问增强大模型显威力

ERNIE 3.0 在 Fine-tuning 范式下的任意结果。在实际应用中,往往缺乏标注数据,因此,baidu研究者也测试了 ERNIE 3.0 在 Zero-shot Learning(零样本进修)范式下的结果,ERNIE 3.0 在大多数任意上相对已有的华文大模型也取得了明显的结果提高。

刷新50多个NLP任意基准,并登顶SuperGLUE全球榜首,baiduERNIE 3.0学问增强大模型显威力

ERNIE 3.0 在零样本进修下的结果。ERNIE 3.0 英文模型登顶 SuperGLUE:超出人类水平 0.8 个百分点除了华文模型的惊艳结果,ERNIE 3.0 英文模型在国际权威的复杂言语懂得任意评测 SuperGLUE 上超出谷歌的 T5、OpenAI 的 GPT-3 等大模型,以超出人类水平 0.8 个百分点的成绩登顶全球榜首。SuperGLUE 是由谷歌 DeepMind、Facebook 研究院、纽约大学、华盛顿大学等多个权威机构联合发布的复杂言语懂得任意评测,旨在提高常识推理、因果判断、上下文消歧、指代消解等复杂任意的结果。

刷新50多个NLP任意基准,并登顶SuperGLUE全球榜首,baiduERNIE 3.0学问增强大模型显威力

ERNIE 3.0 登顶 SuperGLUE 全球榜首。    事实上,早在 2019 年 12 月,ERNIE 就曾以 9 个任意平均得分首次突破 90 大关的成绩登顶 GLUE 全球榜首。这次 ERNIE 3.0 在 SuperGLUE 评测上夺冠,再次证明了 ERNIE 的强大实力。刷新50多个NLP任意基准,并登顶SuperGLUE全球榜首,baiduERNIE 3.0学问增强大模型显威力ERNIE 登顶 GLUE 全球榜首。写小说、写歌词、写古文:ERNIE 3.0 文学创作与学问掌握才能明显提高ERNIE 3.0,在文学创作才能方面也有了明显提高,可以通过对海量文本与学问的进修,无需专门训练,即可进行文学创作。

刷新50多个NLP任意基准,并登顶SuperGLUE全球榜首,baiduERNIE 3.0学问增强大模型显威力

ERNIE 3.0 对学问的掌握,同样大幅提高,通过学问图谱对模型进行增强,让模型具备更强的学问记忆和推理才能。

刷新50多个NLP任意基准,并登顶SuperGLUE全球榜首,baiduERNIE 3.0学问增强大模型显威力

目前这些才能已经开放体验,大家可以点击(Demo 地址)亲身感受 ERNIE 3.0 的技术魅力。文心 ERNIE 自 2019 年诞生至今,在言语懂得、文本生成、跨模态语义懂得等领域取得一系列技术突破,在公开权威语义评测中斩获了十余项世界冠军。2020 年,文心荣获世界人工智能大会(WAIC)最高奖项 SAIL 奖。目前,文心 ERNIE 已大规模应用于搜索、信息流、智能音箱等互联网产品,并通过baidu智能云输出到工业、能源、金融、通信、媒体、教育等各行各业,助力产业智能化升级。本次发布的 ERNIE 3.0 也将进一步提高应用结果,创造更大的经济与社会价值。

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/shua-xin-50-duo-ge-nlp-ren-yi-ji-zhun-bing-deng-ding/

(0)
上一篇 2021年 7月 5日 上午11:18
下一篇 2021年 7月 7日 下午12:57

相关推荐

  • 时隔五年,普林斯顿大学典范书《在线凸优化导论》第二版发表

    2016 年发表的《在线凸优化导论》第一版已成为领域内典范书。

    2021年 12月 29日
  • 千寻地位亮相2022世界人工智能大会:首秀更精细化的数字孪生才智

     9月1日,2022世界人工智能大会在上海正式开幕。全球领先的时空智能基础设施公司——千寻地位网络有限公司(以下简称“千寻地位”)首次展示了具备精确时空才智的数字孪生产品在都会数字化、新基建建设等领域的利用,包括都会道路智能巡检和保护、高速公路高精度舆图收罗、智能矿山三维可视化办理等。今年的世界人工智能大会以“智联世界,元生无界”为主题,数字孪生、时空智能、元宇宙等硬核科技热门赛道备受关注。更精细化的数字孪生才智数字孪生是物理世界与数

    2022年 9月 1日
  • 中国队喜提六枚金牌,实现IMO团队三连冠:王一川拿下全场唯一满分

    在 IMO 2021 的赛场上,中国队又一次实现了「全员金牌」并喜提冠军,来自华师大二附中的选手王一川更是取得了全场唯一的满分问题。

    2021年 7月 26日
  • 汽车网关性能新标杆,芯驰科技发布G9系列最新旗舰产物

    7月28日,领先的车规芯片企业芯驰科技发布网关芯片“网之芯”G9系列的最新旗舰产物G9H,面向下一代高性能中心网关、车载计算单元、跨域控制器等应用场景。G9H在保留高平安性和高可靠性的同时,显著提升车内数据交换和处理能力,助力汽车电子电气架构向域控和中心计算的晋级。面向未来的高性能网关处理器G9H基于芯驰高性能高可靠车规处理器平台设计,采用台积电16纳米车规工艺,应用处理器部分配备6个1.8GHz主频的ARM Cortex-A55 CPU,用于运行Linux/QNX等复杂操作系统,并可在此基

    2022年 7月 29日
  • 计算机视觉领军学者沈春华归国,已参加浙江大学

    越来越多海外任教的学者正在「回归」国内。

    2021年 12月 19日
  • 综述:药物发觉中的机械进修

    编辑 | 萝卜皮不知不觉,人工智能已经渐渐延伸到了各个领域,医药领域也不例外。来自印度 B V Raju 理工学院的研究人员发表综述,讨论了药物发觉中的机械进修,归纳总结了应用于制药领域的各类机械进修手艺,并指出当前该领域发展的难点,以及未来发展方向。该综述以「Machine Learning in Drug Discovery: A Review」为题,于 2021 年 8 月 11 日发布在《Artificial Intelligence Review》杂志。人工智能概念与许多领域密切相关,如模式鉴别、概率论、

    2021年 8月 31日
  • 向英伟达发起挑衅的Groq是什么来头?简单科普新型AI芯片LPU

    这是一篇关于 LPU 的简单科普。在如今的人工智能领域,「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU,连 OpenAI 都不能轻易升级 ChatGPT。不过最近,GPU 的地位也在经受挑衅:一家名为 Groq 的初创公司开发出了一种新的 AI 处置器 ——LPU(Language Processing Unit),其推理速率相较于英伟达 GPU 提高了 10 倍,老本却降低到十分之一。在一项展示中,LPU 以每秒超过 100 个词组的惊人速率执行了开源的大型

    2024年 3月 6日
  • 94岁诺奖得主希格斯去世,曾预言「上帝粒子」的消失

    一名用诗意的语言揭示宇宙秘密的人。一名 94 岁巨大科学家的逝世,引发了人们广泛的哀思。4 月 10 日消息,诺贝尔物理学奖得主、著名物理学家彼得・希格斯(Peter Higgs)于周一去世,享年 94 岁。希格斯因提出希格斯玻色子也被称为「上帝粒子」而闻名。根据爱丁堡大学的一份声明我们得知(彼得・希格斯是该校的光荣退休传授),希格斯经历短暂的生病后,于 4 月 8 日星期一在家中安静的离开。对于老爷子的去世,爱丁堡大黉舍长 Peter Mathieson 沉重的表示:「彼得・希格斯是一名杰出的科学家 &mdash

    2024年 4月 10日
  • 年轻的LeCun、吴恩达长啥样?升级版StyleGAN告诉你

    来自以色列特拉维夫大学的研讨者在天生图象方面又有了新的升级,所用格式在保留源图象身份的同时,在细节编写上实现了更精细的效验。

    2021年 6月 25日
  • 拖拽公式图片、一键转换LaTex公式,这款开源公式识别神器比Mathpix Snip更适合你

    只必要把公式图片用鼠标拖动到东西内,就能一键转成 LaTex 公式。

    2021年 8月 15日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注