线上分享 | Transformers库维护者之一、UCSD博士生分享库背后的故事

自 2017 年提出以来,Transformer 已经成为占据主导地位的自然语言处理(NLP)架构,在自然语言理解和自然语言生成等任务上表现出的性能超过了卷积和循环神经网络等其他神经模型。之后,Transformer 的训练数据和模型规模也不断扩展,从而促进了高效并行训练以及长期序列特征捕获。

Transformer 架构还有助于大型文本语料库上的预训练,在文本分类、语言理解、机械翻译、共指消解、常识推理以及摘要生成等下游任务上实现了准确率的较大增益。然而,为使这些模型得到广泛的应用,研究人员还必须解决各式各样的实际挑战。另外,Transformer 无处不在的应用要求系统能够在不同平台上训练、分析、缩放和扩增模型。在这篇被评选为 EMNLP 2020 最佳 Demo 论文奖的论文中,来自 Hugging Face 的研究者详细描述了专用于支持 Transformer 架构以及促进预训练模型分布的 Transformers 库。该库包含多个精心设计的 SOTA Transformer 架构,使用统一的 API。此外还汇集了社区构建的多个预训练模型,并向社区开放。目前,该库的 star 量高达 37.9K,包含数千个预训练模型。机械之心最新一期线上分享邀请到了 Transformers 库维护者之一、加州大学圣迭戈分校博士生许灿文,为大家详细解读 Transformers。

线上分享 | Transformers库维护者之一、UCSD博士生分享库背后的故事

分享主题:Hugging Face Transformers 库分享嘉宾:许灿文,加州大学圣迭戈分校博士生,Transformers 维护者之一。分享概要:Hugging Face 的 transformers 库为 Transformers 模型供给了统一、简洁、全面的 API,实现了对研究者可拓展、对从业人员简单友好、工业部署迅速健壮的目标。该库已经成为了 NLP 前沿领域研究的「标配」。本次分享将以 EMNLP 2020 best demo 为出发点,介绍 transformers 库和其背后的设计哲学、最新功能和未来展望。直播时间:北京时间 12 月 15 日 20:00-21:00论文链接:https://www.aclweb.org/anthology/2020.emnlp-demos.6/项目地址:https://github.com/huggingface/transformers加入灵活组,一起看直播「灵活组」是机械之心发起的人工智能技能社区,将持续供给技能公开课、论文分享、热门主题解读等线上线下活动,并在社群中供给每日精选论文与教程、智能技能研究周报,同时「灵活组」也将不定期组织人才服务、产业技能对接等活动,欢迎所有 AI 领域技能从业者加入。增添机械之心小帮忙(syncedai5),备注「2020」,加入本次直播群。

线上分享 | Transformers库维护者之一、UCSD博士生分享库背后的故事

ps:如果小帮忙无法增添,请将「微信 ID」发送邮件到 [email protected],我们将与你联系,邀你入群。

Powered by Froala Editor

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/xian-shang-fen-xiang-transformers-ku-wei-hu-zhe-zhi-yi-ucsd/

(0)
上一篇 2020年 12月 9日 下午4:30
下一篇 2020年 12月 15日 下午3:18

相关推荐

  • 详解AI加速器(三):架构基础离不开ISA、可重构处置惩罚器……

    在上一篇文章中,前苹果工程师、普林斯顿大学博士 Adi Fuchs 解释了为什么现在是 AI 加速器的黄金时代。在这篇文章中,我们将聚焦 AI 加速器的秘密基石——指令集架构 ISA、可重构处置惩罚器等。

    2022年 2月 13日
  • 用C++和空幻引擎开发视频游玩,斯坦福CS193u课程资料公开

    用C++开发一款视频游玩要掌握哪些知识?

    2021年 1月 20日
  • 无代码生产力对象赋能数字化供应链新发展

    「机器之心2021-2022年度AI趋势大咖说」聚焦「驱动将来的AI技术」与「重塑财产的AI科技」,推出线上分享,共邀请近40位AI领域知名学者、财产专家及企业高管通过主题分享及多人圆桌等形式,与行业精英、读者、观众共同回顾 2021年中的重要技术和学术热点,盘点AI财产的年度研究方向以及重大科技突破,展望2022年度AI技术发展方向、AI技术与财产科技融合趋势。

    2022年 8月 1日
  • 特斯拉8月在华销量首破4万台,或已达产能极限

    根据乘联会销量数据显示,8月特斯拉批售量到达44264辆,环比增加34%,同比增加275%。截至8月,特斯拉2021年全球累计发卖高出25万辆,海内发卖约15万辆,超越去年全年总和。此外,特斯拉出口量也在断续攀升,自特斯拉7月底宣布将上海超等工场转型为主要的汽车出口中心后,当月出口量就已突破2万辆,8月又增加至31379辆,环比提升29%。据特斯拉CEO埃隆·马斯克此前在推特透露,特斯拉上半季度生产的汽车主要用于出口,下半季度则面向海内市场。目前,特斯拉上海超等工场年产能规划高出45万辆,月度产能规划

    2021年 9月 9日
  • 为主动驾驭汽车创造「影象」,上交校友、康奈尔大学博士生两篇论文被CVPR 2022收录

    人经常走一条路能走熟,主动驾驭汽车也应该能。

    2022年 7月 14日
  • 人工智能向“上”生长,可托AI渐行渐近

    一位刚刚上路的新手驾驭员,如何成长为「老司机」?显然,Ta必须经过足够时间和里程的驾驭练习,才不妨熟练、从容地应对各种可能出现的路况和紧急事件。所以尽管主动驾驭系统也会在投入使用之前历经大量的真实道路测试,但就算是科学文明相当普及的今天,仍有很多人依旧做不到将开车这件事「放心地交给AI」,毕竟摆在人们眼前的却是道不尽的争议和说不明的驾驭事变,而事变的发生可能是手艺,算法,道路,数据,传输,天气,驾驭员等多重主客观因素影响造成的,权责划分十分困难。具体从算法层面看,由于驾驭场景天然对危险性有更高要求,这就需要主动驾驭

    2021年 12月 24日
  • 行业现状令人失望,工作之后我又回到UC伯克利读博了

    呆板学习领域近来受到大模型的冲击,很多小公司表示难以承担大模型的训练费用。但行业中呆板学习工程的发展具体是怎样的?

    2022年 7月 19日
  • 两款量产主动驾驭重卡登台WAIC 嬴彻科技全栈自研面向量产

    在主题为“智联世界,众智成城”的2021世界人工智能大会上,嬴彻科技展现了两款主动驾驭重卡的量产车型。这两款车型分别是与东风商用车、中国重汽联合开发,搭载嬴彻轩辕主动驾驭系统,是全球最早的量产型主动驾驭重卡。嬴彻科技同台展现了其全栈自研主动驾驭技能的一系列最新成果。 两款主动驾驭重卡登台WAIC 嬴彻首度展出和东风商用车、中国重汽分别联合开发的两款主动驾驭量产车型。2019年嬴彻启动与OEM联合开发主动驾驭重卡,两年来与产业伙伴紧密合作,遵守严谨的车辆正向开发流程,在主动

    2021年 7月 9日
  • 又一全新汽车品牌来了!瞄上「安康调理」场景,已获东风、长江等投资

    作者 / 曹锦10月30日,前大众团体高管苏伟铭的创业项目,得到进一步揭晓。由其担任创始人兼董事长的电动汽车品牌——BeyonCa正式亮相,同时还展示了代表品牌定位的概念车Gran Turismo Opus 1(GT Opus 1)。BeyonCa计划于明年春天宣布品牌中文名,第一辆量产车型将于2024年下线。大家对于BeyonCa的最初认知,无疑就是其核心人物苏伟铭。他曾在大众汽车任职16年,在2021年离职时,他位居大众汽车团体执行副总裁,也是团体内职位最高的华裔高管;此后,苏伟铭也曾担任雷诺中国CEO,而他创

    2022年 10月 31日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注