中国队夺金幕后的「AI手语翻译官」:初次上岗,手语可懂度超90%

有了腾讯 3D 手语数智人主播「聆语」的精彩讲授,即使是身处「无声世界」的群体也能实时感受冰雪赛事的每一份激情。

「中国首金!」「你永远可以相信中国短道速滑!」2 月 5 日晚上的首都体育馆,在短道速滑混合团体 2000 米接力决赛中,中国队击败对手,夺得中国首金。和万千观众共同见证这一重要时刻的,还有腾讯 3D 手语数智人主播「聆语」,并用手语传递了这份喜悦:「最后一个弯道!武大靖率先冲出弯道,通过终点!」

中国队夺金幕后的「AI手语翻译官」:初次上岗,手语可懂度超90%

在央视频多场赛事中,腾讯 3D 手语数智人「聆语」作为「AI 手语翻译官」,提供了手语讲授效劳,让处于无声世界中的特殊人群也能「听」到中国举办冰雪赛事的盛况,进一步晋升了听障人士的观看体验。

中国队夺金幕后的「AI手语翻译官」:初次上岗,手语可懂度超90%

「聆语」讲授短道速滑男子 1000 米决赛,任子威夺金。

中国队夺金幕后的「AI手语翻译官」:初次上岗,手语可懂度超90%

自由式滑雪女子大跳台决赛,中国选手谷爱凌夺得金牌。我们为什么需要 AI 手语数智人主播?在很多体育赛事中,敏锐、专业、生动、准确的赛事讲授可以称得上是观赛过程的「灵魂」所在。但是对于听障人士来说,如果没有实时的手语讲授效劳,他们很难和其他观众一样充分感受到比赛现场的这份激情。在本次北京冬奥会的观众中,有一位来自武汉的听障人士。他表示,自己一直对冰雪赛事很关注,但在观看比赛时,最担心的地方就是「主持人语速较快,很容易错过一些内容」。「如果体育赛事能够借助 AI 手语翻译及时传递动态,我的观赛体验也会大大晋升。」根据第二次全国残疾人抽样调查结果,中国有听障人士 2780 万人。手语是听障人士之间相互交流思想、获取外界信息的言语。目前许多新闻资讯、文娱节目中都缺少手语翻译,手语主持人「明显供不应求」,这为听障人士接收信息带来了不小的阻碍。目前,大众对冰雪赛事的关注热情创下新高,这对大型赛事电视观赛体验提出了更高的要求,其中也包括对手语讲授效劳需求的晋升。AI 手语数智人主播迎来了更加广阔的应用场景。AI 手语数智人主播可以通过建立健听人言语体系、逼真的画面言语、连贯自然的作为和新词热词快速适配,晋升 AI 手语抒发的可懂度。2022 年 2 月,腾讯 3D 手语数智人「聆语」在央视频 APP 落地,「聆语」也迎来了自己的第一份工作:央视频 AI 手语翻译官。

中国队夺金幕后的「AI手语翻译官」:初次上岗,手语可懂度超90%

腾讯 3D 手语数智人「聆语」由腾讯云小微联合 PCG AI 等手艺团队共同打造,整合多模态交互手艺、3D 数字人建模、机器翻译、语音识别和自然言语理解等手艺,让「聆语」的手语抒发能力接近真人。腾讯自主研发了一套可视化作为编辑平台,为更专业的手语老师提供了友好的工具平台,可以让手语老师高效率的对全量手语作为进行精修。截至目前,腾讯 3D 手语数智人「聆语」词汇和语句覆盖量超过 160 万,并针对体育赛事做了大量定向优化,手语可懂度 90% 以上,手艺水准行业领先。腾讯团队表示,他们希望为听障人士打造手语数智人,通过自身积累的 AI 手艺,打造一款可懂度高的数智人,用手艺为听障人士提供便利,这也是腾讯一直强调「科技向善」的理念。打造 3D 手语数智人「聆语」有何挑战?正如命名「聆语」所示,腾讯这款 3D 手语数智人是听障人士真正可懂的手语数字人。相比于其他的数智人,腾讯的手语数智人在手艺上具备多项优势。对于观众来说,如果数字人在抒发时出现神态和作为僵硬不自然的问题,那么观感就会大打折扣。在外观方面,「聆语」依托腾讯领先的 3D 重光照扫描还原、面部肌肉驱动、表情肢体手势捕捉等手艺,天生了高度还原真人发肤、作为自然生动的数字人。笑意盈盈、一袭清爽蓝色套装的「聆语」最初亮相,就显著晋升了手语播报的真实感与亲切感:

中国队夺金幕后的「AI手语翻译官」:初次上岗,手语可懂度超90%

更具挑战性的是,与一般的口头抒发相比,手语是一套视觉言语,存在语序、表情和口型呈现等诸多问题,更不用说在抒发过程中手势切换的流畅连贯性了。这些问题都要求 AI 手语主播需要具备较高的手语抒发能力和精确连贯的手语呈现能力。如何让「聆语」像专业的手语主持人一样,实时、精确地传递讲授内容,有效提高手语抒发可懂度?在手语作为方面,为了让「聆语」实现流畅的交互,腾讯团队的程序员们啃起了《国家通用手语词典》,并让「聆语」在上岗之前也认真学习了《国家通用手语词典》的规范。经过漫长的手语调研、手语顾问团队建设,团队开发出了一套手语翻译系统。在手语讲授时,「聆语」首先通过健听人言语与听障者手语的机器翻译能力,将健听人言语内容低延迟天生高准确率的手语言语表征。示例如下:输入:他是我的手语老师预处理:他 是 我 的 手语 老师翻译:他 我 手语 老师 是

随后,「聆语」基于腾讯多模态端到端天生模型,进行联合建模及预测天生高准确率的作为、表情、唇动等序列,实现自然专业、易懂度高的手语效果。得益于腾讯云小微和PCG AI 在语音手艺领域的长期积累,「聆语」的 AI 手语可懂度达到了90%以上。

赛场手语翻译的难点,包括要通过 ASR 手艺,将比赛讲授的语音从赛场现场的复杂环境声音中分离出来进行精确的识别,然后再将识别出来的文本信息进行智能摘要,使手语翻译能够和主持人语速达到匹配。接下来,将手语翻译天生手语视频,保证每个作为准确的同时,也要实现作为与作为之间的精确衔接。在信息准确率方面,「聆语」还可以快速学习时下的新词热词,快速完成各种行业、业务场景和相关知识的学习,晋升翻译准确性。比如 17 岁小将苏翊鸣被称为「小栓子」,再比如谷爱凌,需要「首字母 + 唇形」才能定义成特殊的词。借助腾讯的大数据手艺能力,「聆语」能够做到快速及时地掌握热词,并进行手语词汇补充。此外,「聆语」更贴合业务,产品落地能力更强。腾讯团队综合运用 3D 数字人建模、机器翻译、多模态数字人天生、迁移学习、实时面部作为天生及驱动等多项 AI 手艺,加深其感知理解,「聆语」支持业务场景更加丰富,业务数据积累量也更大。AI 手语合成主播未来可期随着 AI 交互智能的手艺发展和应用落地,数智人已经成为很多行业的数字员工,辅助人类提供更加高效、精确的效劳。在新闻传媒领域,在 2021 年 10 月,广电总局在《广播电视和网络视听「十四五」科技发展规划》中也首次明确指出,要推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目生产,创新节目形态,提高制播效率和智能化水平。一直以来,腾讯云小微始终致力于推动 AI 交互智能领域的手艺发展和产业应用落地。此前,腾讯云小微联合 PCG AI 等手艺力量,打造了多个数智人方案,为大众提供客服、导览、讲解等多样化效劳,涉及金融、传媒政务、家居、教育、展会、交通等众多领域。

中国队夺金幕后的「AI手语翻译官」:初次上岗,手语可懂度超90%

未来,来自腾讯手艺团队的「聆语」还将在更多场景提供效劳,帮助听障人士和正常人一样了解、交流新闻时事,助力实现更好的无障碍信息传播环境。

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/zhong-guo-dui-duo-jin-mu-hou-de-ai-shou-yu-fan-yi-guan-chu/

(0)
上一篇 2022年 2月 8日 下午2:57
下一篇 2022年 2月 11日 下午2:38

相关推荐

  • 物理学家在arXiv上怒斥自然封面常温超导论文,被禁言6个月

    在预印本平台上讨论学术问题也要文明、友好,这是 arXiv 刚刚给提交者上的一堂新课。

    2022年 3月 15日
  • 特斯拉被判向挪威车主支付巨额罚金,或在多地产生连锁效应

    在挪威的一家法庭上,特斯拉由于通过软件进级限制充电速度、并降低电池容量而被判有罪。除非特斯拉上诉,否则该品牌将会向挪威遭到作用的车主每人赔付16000美元。据了解,挪威是特斯拉人均保有量最多的国度,而遭到相关问题作用的用户,可能会达到一万名。现如今其他国度也正在调查类似案件,所以这一惩罚可能会对特斯拉起到连环负面效应。早在2019年,外媒就曾报导过数起特斯拉车主在进级软件后,车辆续航上升12-30英里的事件。在那时,只有选装了85kWh电池包的Model S和Model X遭到了作用,而上述两款车型早在2016年就

    2021年 5月 26日
  • 一场AI竞赛,怎么就让这群年轻人变化这么大?

    人工智能到底有什么用?这要从一场AI竞赛说起……

    2021年 6月 17日
  • 中科院图协作进修模型,从空间分辨转录组学数据中阐明肿瘤异质性

    编辑 | 萝卜皮空间解析转录组学 (SRT) 技术使钻研职员可以或许获得对构造结构和细胞发育的新见解,尤其是在肿瘤中。然而,缺乏对生物背景和多视图特点的计算开发严重阻碍了构造异质性的阐明。在这里,中国科学院的钻研团队提出了 stMVC,这是一种多视图图协作进修模型,它在通过注意力分析 SRT 数据时集成了构造学、基因表白、空间地位和生物学背景。具体来说,采用半监督图注意力自动编码器的 stMVC 分别进修构造学相似性图或空间地位图的特定视图表示,然后在生物上下文的半监督下通过注意力同时整合两个视图图以获得鲁棒表示。st

    2022年 10月 14日
  • 可微分骨架树:基于梯度的份子优化算法

    这周我们简单介绍一个高效份子优化的方法。该工作由UIUC的Jimeng Sun组合MIT的Connor Coley组合作完成,对应的文章题目是Differentiable Scaffolding Tree for Molecule Optimization[1],被2022年ICLR接受,主要的代码和数据发布在https://github.com/futianfan/DST。内容:思路:基于梯度的份子优化份子的可微分骨架树类梯度上升的优化算法优化效果测试由可微性失掉的可解释性思路:基于梯度的份子优化在药物发现中,分

    2022年 2月 21日
  • 优秀!2021年google博士生奖研金陆续揭晓,同济校友王鑫龙、南大校友李昀入选

    在近日公布的google2021博士生奖研金部分名单中,来自阿德莱德大学、新南威尔士大学、昆士兰科技大学和悉尼大学的四位博士生获得该殊荣。

    2021年 8月 31日
  • 参数量仅为4%,性能媲美GPT-3:开发者图解DeepMind的RETRO

    构建越来越大的模型并不是提高性能的唯一方法。

    2022年 1月 4日
  • 威斯康辛大学《呆板进修导论》2020秋季课程完结,课件、视频资源已开放

    对于呆板进修领域的初学者来说,这会是很好的入门课程。目前,课程的笔记、PPT 和视频正在陆续发布中。2020 年就这么悄无声息地走完了,想必大多数人,尤其是在校学生唯一的感觉就是:「又是毫无学术进展的一年。」别慌,只要马上开始进修,什么时候都不算晚。近日,威斯康辛大学麦迪逊分校助理教授 Sebastian Raschka 在推特上宣布了威斯康辛大学《呆板进修导论》2020 秋季课程的完结:「教授两个班级和 230 个学生是相当不错的体验,对于那些感兴趣的人,我整理了一页记录以供参考。」课程笔记主页:https://

    2020年 12月 23日
  • 浙大校友李旻辰获SIGGRAPH 2021最佳博士论文奖,连续四年华人学者包揽此奖项

    由于疫情的影响,盘算机图形顶级会议ACM SIGGRAPH 2021于8月9日至15日线上举行。该大会颁布了最佳博士论文奖以及盘算机图形学成就奖等奖项,其中最佳博士论文奖由UCLA博士后李旻辰摘得,这也是华人学者连续四年获得该殊荣。

    2021年 8月 10日
  • UT Austin朱玉可主讲,CS391R 2021秋季课程上线,专注呆板人感知与决策

    UT Austin的经典课程CS391R,已经上线了2021秋季版本的全新内容。先收藏,有时间再开始学?

    2021年 9月 7日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注