ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

在 ACL 2021 的一篇杰出论文中,研讨者提出了一种基于单语数据的模型,功能却优于运用双语 TM 的「TM-augmented NMT」基线格式。自然语言处理(NLP)领域顶级会议 ACL 2021 于 8 月 2 日至 5 日在线上举行。据官方数据, 本届 ACL 共收到 3350 篇论文投稿,其中主会论文录用率为 21.3%。腾讯 AI Lab 共入选 25 篇论文(含 9 篇 findings)。在不久之前公布的获奖论文中,腾讯 AI Lab 与香港中文大学合作完成的《Neural Machine Tra

在 ACL 2021 的一篇杰出论文中,研讨者提出了一种基于单语数据的模型,功能却优于运用双语 TM 的「TM-augmented NMT」基线格式。自然语言处理(NLP)领域顶级会议 ACL 2021 于 8 月 2 日至 5 日在线上举行。据官方数据, 本届 ACL 共收到 3350 篇论文投稿,其中主会论文录用率为 21.3%。腾讯 AI Lab 共入选 25 篇论文(含 9 篇 findings)。在不久之前公布的获奖论文中,腾讯 AI Lab 与香港中文大学合作完成的《Neural Machine Translation with Monolingual Translation Memory》取得杰出论文。本文作者也受邀参与机器之心举办的 ACL 2021 论文分享会,感兴趣的同学可以点击阅读原文查看回顾视频。下面我们来看一下这篇论文的具体内容。

ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

论文地址:https://arxiv.org/abs/2105.11269先前的一些工作已经证明翻译影象库(TM)可以提高神经机器翻译 (NMT) 的功能。与运用双语语料库作为 TM 并采用源端相似性搜索进行影象检索的现有工作相比,该研讨提出了一种新框架,该框架运用单语影象并以跨语言方式执行可学习的影象检索。该框架具有一些独特的优势:

首先,跨语言影象检索器允许大量的单语数据作为 TM;

其次,影象检索器和 NMT 模型可以联合优化以达到最终的翻译目的。

实验表明,该研讨提出的格式取得了实质性的改进。值得注意的是,即使不运用额外单语数据,这种格式也要优于运用双语TM的 「TM-augmented NMT」基线格式。由于能够利用单语数据,该研讨还证明了所提模型在低资源和领域适应场景中的有效性。格式该研讨首先将翻译任务转化为两步过程:检索和生成,并在论文中描述了跨语言影象检索模型和影象增强型(memory-augmented)翻译模型的模型设计。最后,该论文展示了如何运用标准最大似然训练联合优化这两个组件,并通过穿插对齐预训练解决了冷启动(cold-start)问题。

ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

该格式的整体框架如图 1 所示,其中 TM 是目的语言ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT中句子的集合。给定源语言中的输入 x,检索模型首先会根据相关函数ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT,选择一些来自 Z 的可能有用的句子ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT,其中ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT。然后,翻译模型以检索到的集合ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT和原始输入 x 为条件,运用概率模型ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT来生成输出 y。值得注意的是,相关性分数ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT也是翻译模型输入的一部分,它能够鼓励翻译模型更多地关注更相关的句子。在训练期间,该研讨借助翻译参考的最大似然改进了翻译模型和检索模型。检索模型检索模型负责从大型单语 TM 中为源语句选出最相关的语句。这可能涉及测量源语句和数百万个候选目的语句之间的相关性分数,带来了严重的计算挑战。为了解决这个问题,该研讨运用一个简单的双编码器框架(Bromley 等, 1993)来实现检索模型,这样最相关句子选择可以利用最大内积搜索实现(MIPS, Maximum Inner Product Search)。借助高功能数据结构和搜索算法(例如 Shrivastava 和 Li,2014;Malkov 和 Yashunin,2018),可以高效地进行检索。具体来说,该研讨将源语句 x 和候选语句 z 之间的相关性分数 f(x, z) 定义为它们的密集向量表征的点积:

ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

翻译模型给定一个源语句 x、相关 TM 的小型集合ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT、相关性分数ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT,翻译模型会定义一个如下形式的条件概率ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT该翻译模型建立在标准的编码器 – 解码器 NMT 模型上:(源)编码器将源语句 x 转换为密集向量表征,解码器以自回归方式生成输出序列 y。在每一个时间步(time step)t,解码器都会处理先前生成的序列ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT和源编码器的输出,生成隐藏状态 h_t。然后隐藏状态 h_t 通过线性投影转换为 next-token 概率,接着会有一个 softmax 函数操作,即ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMTACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT为了容纳额外的影象输入,该研讨运用影象编码器扩展了标准的编码器 – 解码器 NMT 框架,并允许运用从解码器到影象编码器的穿插注意力机制。具体来说,影象编码器对每个 TM 语句 z_i 单独进行编码,从而产生一组上下文 token 嵌入ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT,其中 L_i 是 token 序列 z_i 的长度。研讨者计算了一切 TM 语句的穿插注意力:

ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

为了使从翻译输出到检索模型的梯度流有效,该研讨将注意力分数与相关性分数进行了偏置处理,重写了等式(1)如下所示:

ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

训练该研讨在负对数似然损失函数ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT中运用随机梯度下降来优化模型参数 θ 和 φ,其中ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT指参考翻译。 然而,如果检索模型从随机初始化开始,那么一切 top TM 语句 z_i 可能都与 x 无关(或无用)。这导致检索模型无法接收有意义的梯度并进行改进,翻译模型将学会完全忽略 TM 输入。为了避免这种冷启动问题,该研讨提出了两个穿插对齐任务来热启动检索模型。第一个任务是句子级的穿插对齐。具体来说,该研讨在每个训练 step 上对训练语料库采样 B 个源 – 目的对。设 X 和 Z 分别对应由 E_src 和 E_tgt 编码的源向量和目的向量的 (B×d) 矩阵。ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT是一个相关性分数的 (B×B) 矩阵 ,其中每一行对应一个源语句,每列对应一个目的语句。当 i = j 时,任何ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT对都应该对齐。目的是最大化矩阵对角线上的分数,然后减小矩阵中其他元素的值。损失函数可以写成:

ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

第二个任务是 token 级穿插对齐,其目的是在给定源语句表征的情况下预测目的语言中的 token,反之亦然。该研讨运用词袋损失:

ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

其中ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT表示第 i 个源(目的)语句中的 token 集,token 概率由线性投影和 softmax 函数计算。实验结果该研讨在三种设置下进行了实验:(1)可用的 TM 仅限于双语训练语料库的常规设置;(2)双语训练对很少,但用单语数据作为额外 TM 的低资源设置;(3)基于单语 TM 的非参数域自适应设置。常规设置为了研讨每个模型组件的效果,研讨人员实现了一系列的模型变体(如表 2 中的 #1 – #5):

ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

如上表 2 所示,可以观察到:(1)该研讨运用异步索引刷新训练的完整模型(模型  #5),在四个翻译任务的测试集上取得了最佳功能,比 non-TM 基线(模型 #1)平均高出 3.26 个 BLEU 点,最高可达 3.86 个 BLEU 点( De⇒En)。这一结果证实了单语 TM 可以提高 NMT 的功能。(2)端到端学习检索器模型是大幅提高功能的关键,运用预训练的固定跨语言检索器只能提供中等的测试功能,微调 E_src 和固定 E_tgt 显著提高了功能,同时微调 E_src 和 E_tgt 则能取得最强的功能(模型 #5 > 模型 # 4 > 模型 #3)。(3)跨语言检索(模型 #4 和模型 #5)可以取得比源相似性搜索(模型 #2)更好的结果。低资源设置图 2 为在测试集上的主要结果,一切实验的一般模式都是一致的,由结果可得:TM 越大,模型的翻译功能越好。当运用一切可用的单语数据 (4/4) 时,翻译质量显著提高。未经重新训练的模型的功能与经过重新训练的模型的功能相当,甚至更好。此外,该研讨还观察到,当训练对非常少时(只有 1/4 的双语对可用),小型 TM 甚至会影响模型的功能,这可能是出于过拟合的原因。该研讨推测,根据不同的 TM 大小调整模型超参数将取得更好的结果。

ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

该研讨还与反向翻译 (BT)进行了比较,这是一种将单语数据用于 NMT 的流行格式。该研讨运用双语对训练目的到源的 Transformer Base 模型,并运用得到的模型翻译单语语句以取得额外的合成并行数据。如表 3 所示,该研讨所用格式在 2/4 双语对上比 BT 表现得更好,但在 1/4 双语对上表现较差。 最令人惊喜的是,结果表明两种格式是互补的,他们的结合使翻译功能取得了进一步的巨大提升。

ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

非参数领域自适应由下表 4 可得,当仅运用双语数据时,与 non-TM 基线相比,TM 增强模型在数据较少的域中取得更高的 BLEU 分数,但在其他域中的分数略低。然而,当研讨者将 TM 切换到特定域的 TM 时,一切域的翻译质量都得到了显著提升,将 non-TM 基线平均提高了 1.85 个 BLEU 点,在 Law 上提高了 2.57 个 BLEU 点,在 Medical 上提高了 2.51 个 BLEU 点。该研讨还尝试将一切特定领域的 TM 合并成一个 TM,并将其用于一切域(如表 4 最后一行所示),但实验结果并没有取得明显的改进。这表明域外数据不能提供帮助,因此较小的域内 TM 就足够了。

ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

运行速度FAISS in-GPU 索引能够让搜索数百万个向量变得非常高效(通常在几十毫秒内完成)。在该研讨中,影象搜索的执行速度甚至比原生的 BM25 还要快。对于表 2 中的结果,以普通的 Transformer Base 模型(模型 #1)为基线模型,该研讨模型(包括模型 #4 和模型 #5)的推断延迟大约是基线的 1.36 倍(一切模型都运用一个 Nvidia V100 GPU)。至于训练成本,模型 #4 和模型 #5 每个训练 step 的平均时间成本分别是基线的 2.62 倍和 2.76 倍,与传统的 TM-augmented 基线相当(模型 #2 是 2.59 倍)( 全部运用两个 Nvidia V100 GPU),实验结果如下表 5 所示。此外,该研讨还观察到,就训练 step 而言,影象增强型模型的收敛速度比普通模型快得多。

ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/acl2021-teng-xun-ailab-gang-zhong-wen-jie-chu-lun-wen-yong/

(0)
上一篇 2021年 8月 5日 下午2:46
下一篇 2021年 8月 8日 下午12:59

相关推荐

  • “中原氢城”濮阳与优必选科技达成策略竞争,发布全世界首款氢能源人形机器人

    2022年9月28日,氢生活、AI未来——全世界首款氢能源人形机器人发布暨濮阳“两能”交融策略签约仪式在“中原氢城”濮阳举行。在全世界首款氢能源人形机器人“一行”发布的同时,濮阳与优必选科技就人工智能与氢能“两能”交融达成策略竞争,积极探索和实施以人工智能驱动新能源生长策略,助力实行我国“碳达峰、碳中和”的目标,推动经济绿色高质量生长。领导和高朋与全世界首款氢能源人形机器人&ld

    2022年 9月 28日
  • 将执行器「缝」进衣袖,斯坦福无交战设施,近程传递触摸信息

    通过这个特制的「袖子」,我们可以从事隔空交际交战,传播喜怒哀乐。

    2022年 2月 8日
  • vivo印象策略发布,新一代自研印象芯片及多项新手艺亮相

    2022 年 10 月 24 日,vivo 印象策略发布会正式召开。会上,vivo 盘点了之前在印象理念上的坚持,即通过业余化的本领复原眼之所见,超越眼之所见,并将业余印象手艺赋能每一个人,持续为消费者提供人性化的业余印象感受。vivo 的印象手艺矩阵也在此次印象策略发布会正式公布:围绕“三个比肩”,坚持联合立异和自主立异两大策略支点,在日趋同质化的印象赛场中创造竞争优势,力求在挪移印象赛道上筑起手艺壁垒,并保持持续领先。 vivo 印象副总裁于猛vivo 印象副总裁于猛、vivo

    2022年 10月 24日
  • 哥德尔90年前的「不完备性定理」,奠定了估计机与AI的实际根蒂根基

    大神早已远去,而他的光芒仍在人间。

    2021年 6月 18日
  • 中原基金与澜舟科技成立金融NLP联合实验室,共促金融科技立异

    近日,境内头部基金公司中原基金与NLP/AI范畴领先者北京澜舟科技签署战略协作协议,成立金融NLP(自然语言处置惩罚)联合实验室,协作探索自然语言处置惩罚技巧在金融范畴的使用;协作建立鉴于中原基金投资研究逻辑的舆情NLP本领;协作打造鉴于深度学习和预训练模型的金融行业搜索引擎,同时计划在其他数字化建立、立异技巧协作、交易使用等方面展开协作。中原基金首席数据官陈一昕,澜舟科技创始人兼首席执行官周明博士分别代表双方在北京签约。中原基金首席数据官陈一昕表示,科技立异是发展数字经济的核心源动力。金融行业如何促进科技与金融交易场景的

    2022年 6月 6日
  • 腾讯QQ黑科技亮相2021谷歌开发者大会官网,鉴于TFlite部署AI语音降噪

    当6亿用户习惯每天通过QQ发送语音和进行视频通话,或者在群里与网友语音接龙完成一场Pia戏,又或是与好友一起派对语音答题的时候,大家可曾想过,在不同场景下始终清晰、流畅的QQ音视频感受背后,到底是什么黑科技在支撑这些场景中“声”与“话”的美好?今年11月16日召开的谷歌2021开发者大会期间,大会官网更新了一则案例——《TensorFlow助力:AI语音降噪打造QQ音视频通话新感受》,作者正是QQ音视频通话技巧团队。作为谷歌TensorFlow的优秀应用案例,腾讯QQ团队在该文中详细揭秘了语音增强技巧在QQ音视频功

    2021年 11月 16日
  • 再不用怕Markdown中的绘图了,GitHub官方支持Mermaid图表绘制东西

    开发人员已能够在 GitHub 中使用 Mermaid 图表东西。

    2022年 2月 15日
  • 悲观数据智能工单处置,助力经营商实现交易流程智能化改造

    经营商一线交易经营亟待智能化改造近几年,经营商规模的生产经营工作的内外部环境发生了深刻变革,加快向标准化、系统化、自动化、智能化的新模式转型势在必行。经营商规模的工单处置是与客户感受息息相关的重要工作,要求处置职员具有丰富的经营商一线交易学问和很强的综合阐发本领,因而它是一项经验密集型工作,适合举行智能化改造。本文结合悲观数据在经营商规模的智能工单处置的丰富实践举行探讨。对于经营商客户服务热线的交易流程来说,一般包括故障报修、举报、赞扬、建议、咨询、意见、表扬、查询以及订阅服务等多个交易环节,每个环节都会产生大量工

    2021年 5月 26日
  • 来一场冬日技巧狂欢!WAVE SUMMIT+2020深度进修开发者峰会报名启动

    说到 798,大家都不陌生。就在下个周日, 12 月 20 日,在北京 798 艺术园区 751 罐,将要举行一场「别开生面」的 AI 开发者活动。

    2020年 12月 11日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注