线上分享 | Transformers库维护者之一、UCSD博士生分享库背后的故事

自 2017 年提出以来,Transformer 已经成为占据主导地位的自然语言处理(NLP)架构,在自然语言理解和自然语言生成等任务上表现出的性能超过了卷积和循环神经网络等其他神经模型。之后,Transformer 的训练数据和模型规模也不断扩展,从而促进了高效并行训练以及长期序列特征捕获。

Transformer 架构还有助于大型文本语料库上的预训练,在文本分类、语言理解、机械翻译、共指消解、常识推理以及摘要生成等下游任务上实现了准确率的较大增益。然而,为使这些模型得到广泛的应用,研究人员还必须解决各式各样的实际挑战。另外,Transformer 无处不在的应用要求系统能够在不同平台上训练、分析、缩放和扩增模型。在这篇被评选为 EMNLP 2020 最佳 Demo 论文奖的论文中,来自 Hugging Face 的研究者详细描述了专用于支持 Transformer 架构以及促进预训练模型分布的 Transformers 库。该库包含多个精心设计的 SOTA Transformer 架构,使用统一的 API。此外还汇集了社区构建的多个预训练模型,并向社区开放。目前,该库的 star 量高达 37.9K,包含数千个预训练模型。机械之心最新一期线上分享邀请到了 Transformers 库维护者之一、加州大学圣迭戈分校博士生许灿文,为大家详细解读 Transformers。

线上分享 | Transformers库维护者之一、UCSD博士生分享库背后的故事

分享主题:Hugging Face Transformers 库分享嘉宾:许灿文,加州大学圣迭戈分校博士生,Transformers 维护者之一。分享概要:Hugging Face 的 transformers 库为 Transformers 模型供给了统一、简洁、全面的 API,实现了对研究者可拓展、对从业人员简单友好、工业部署迅速健壮的目标。该库已经成为了 NLP 前沿领域研究的「标配」。本次分享将以 EMNLP 2020 best demo 为出发点,介绍 transformers 库和其背后的设计哲学、最新功能和未来展望。直播时间:北京时间 12 月 15 日 20:00-21:00论文链接:https://www.aclweb.org/anthology/2020.emnlp-demos.6/项目地址:https://github.com/huggingface/transformers加入灵活组,一起看直播「灵活组」是机械之心发起的人工智能技能社区,将持续供给技能公开课、论文分享、热门主题解读等线上线下活动,并在社群中供给每日精选论文与教程、智能技能研究周报,同时「灵活组」也将不定期组织人才服务、产业技能对接等活动,欢迎所有 AI 领域技能从业者加入。增添机械之心小帮忙(syncedai5),备注「2020」,加入本次直播群。

线上分享 | Transformers库维护者之一、UCSD博士生分享库背后的故事

ps:如果小帮忙无法增添,请将「微信 ID」发送邮件到 [email protected],我们将与你联系,邀你入群。

Powered by Froala Editor

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/xian-shang-fen-xiang-transformers-ku-wei-hu-zhe-zhi-yi-ucsd/

(0)
上一篇 2020年 12月 9日 下午4:30
下一篇 2020年 12月 15日 下午3:18

相关推荐

  • 中科大吴枫获IEEE CAS最高荣誉奖项,11位学者获ACM四大手艺奖项

    5 月 24 日,IEEE 电路与体系(CAS)学会将 2021 年度 IEEE CAS Mac Van Valkenburg 奖授予中国科学手艺大学吴枫教授,以表彰他对「多媒体非均匀编码和通信的孝敬」,时隔不久,5 月 26 日,计算机协会(Association for Computing Machinery)宣布了四项著名手艺奖的获得者。

    2021年 5月 27日
  • 哪家公司、哪位学者本年NeurIPS中稿最多?这里有一份统计报告

    NeurIPS 2021 论文接纳结果已经公布,有位顶会数据挖掘爱好者对此进行了分析,分析数据包括积年投稿量统计、集体中稿量排行、公司中稿量排行等。全球人工智能顶会 NeurIPS 2021 将于 12 月 6 日至 14 日在线上举办。前段时间,大会民间放出了本年的论文接纳列表。据大会民间统计,本年 NeurIPS 共有 9122 篇有效论文投稿,总接纳率 26%,只有 3% 被接纳为 Spotlight 论文。当然,除了接纳率之外,民间披露的数据中还有其他一些有趣的信息。最近,热衷于顶会数据挖掘的 Criteo

    2021年 11月 4日
  • 银行流水、财报、年报、电费分割单等各类文档一键提炼,悲观表格提炼对象再升级!

    很多工作流程中涉及文档的表格的提炼,比如财报信息的鉴别提炼、银行流水的表格审查等,并且这些文档常常在PDF、扫描件、图片等无法直接复制出表格样式的文档中。人工操纵费时费力,还需要留心出错的问题。 悲观数据智能表格提炼对象,结合NLP、OCR、CV 等自研人工智能技术,以智能化方式解决文档表格提炼中的核心痛点问题。可以支援PDF、Word、扫描件、图片等多种文档花样范例,快捷提炼文档中的表格信息,更直觉、更方便、更准确的完成文档的表格提炼,让表格鉴别提炼工作更轻松。 先感受下弱小便捷的产品使用体验

    2022年 1月 11日
  • Stability AI联合Morph AI共同发布一体式AI视频创作对象,助力手艺的落地与利用

    2024年2月28日,Stability AI在其官方社交账号上宣布与领先的text-to-video公司Morph AI告竣分工,双方基于各自的模型优势,共同推出了一款all-in-one(一体式AI视频创作)的创造对象——MorphStudio。该对象将颠覆保守视频创造过程,具备了让创作者可以在一个界面中完成天生、剪辑和后期等的便利功能,支持创作者调用AI模型选择每一个镜头并达到最佳效果。较保守视频创造过程而言,该对象可以极小的帮助创作者缩短创作时间,降低创作成本。与此同时,在双方的创作者社区中,每一个创作者都

    2024年 3月 1日
  • 魔方电池如何“躺赢”?解锁荣威iMAX8 EV“头等舱”危险密码

    近期不时出现的电动车自燃事件,让新能源汽车的危险问题再登风口浪尖。一直以来,电池危险是新能源汽车用户最为关切的首要问题。消除电池危险隐患,从根本上化解用户的危险焦虑,是整体新能源汽车行业努力的方向。中国荣威旗下纯电奢华MPV荣威iMAX8 EV在危险性能方面,领先行业标准,采用上汽魔方电池,通过五重递进式的多层防备,不妨兑现整包零热失控。“头等舱”的危险感背后隐藏着哪些黑科技?8月10日,来自上汽创新研发总院捷能公司的电池技术专家们进行了一场电池解析直播课,生动地展示了魔方电池的危险之道。五

    2022年 8月 10日
  • “智能定损”应用现状介绍

    在车险理赔行业,智能定损的概念在2017年率先提出,经历了4年的发展,深源恒际首次将图像鉴别技术通过小顺序在【客户自决】定损场景的产物落地应用,在某产险公司日均处理案件量达1000+,准确率达到85%。

    2022年 1月 11日
  • 浙大校友李旻辰获SIGGRAPH 2021最佳博士论文奖,连续四年华人学者包揽此奖项

    由于疫情的影响,盘算机图形顶级会议ACM SIGGRAPH 2021于8月9日至15日线上举行。该大会颁布了最佳博士论文奖以及盘算机图形学成就奖等奖项,其中最佳博士论文奖由UCLA博士后李旻辰摘得,这也是华人学者连续四年获得该殊荣。

    2021年 8月 10日
  • 道阻且长,行则将至 | 安远AI x 机器之心系列讲座圆满结束

    历时一个月,安远AI与机器之心联合举办的「迈向危险、靠得住、可控的人工智能」六场系列讲座圆满结束,我们邀请了全球顶尖人工智能机构专家分享强化学习、预训练大模型、通用人工智能等内容。这六位专家分享了他们的真知灼见,并对人工智能与人类的将来展现出忧虑与希望:第1期:「寻找AGI的危险路径 」不精确的微调或方针的错误泛化可能会导致AGI追求一个不精确的方针。如果足够智能,这种未对齐(unaligned)的AGI将导致灾难性的前因。 —DeepMind研讨科学家Rohin Shah第2期:「人类与AI的

    2022年 8月 9日
  • 中科驭数宣布完成数亿元A+轮融资,第二代DPU芯片完成研发计划

    DPU芯片计划企业中科驭数今日宣布完成数亿元规模A+轮融资,本轮融资由麦星投资和昆仑资源结合领投,老股东灵均投资、光环资源追加投资。这是继7月底完成A轮融资之后,中科驭数今年获得的第二笔更大规模的数亿元融资。所筹资金将用于DPU芯片的研发和量产、以及市场开拓。曾经完成第二代DPU芯片K2的计划工作中科驭数正在研发的第二代DPU芯片K2曾经完成计划和验证工作,预计将于2022年第一季度投产流片。DPU是数据专用处理器(Data Processing Unit),是数据中心继CPU和GPU之后第三颗重要的算力芯片。随着

    2021年 12月 21日
  • 每一年发表两个图灵奖?《ACM通讯》主编发文提议推动图灵奖改革

    如果真的改革,百万奖金需要打对折吗?

    2021年 8月 4日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注