引入多感官数据进修,华人学者Ruohan Gao摘得2021 UT-Austin最佳博士论文奖

UT-Austin 本年度的最佳博士论文奖获取者 Ruohan Gao,目前是斯坦福大学的博士后钻研员。

引入多感官数据进修,华人学者Ruohan Gao摘得2021 UT-Austin最佳博士论文奖

今年 5 月,德克萨斯大学奥斯汀分校(UT-Austin)钻研生院公布了 2021 年度各个专业和学生奖项的获奖者。这些奖项旨在表彰钻研生院成员在学术、教学和专业服务方面的卓越表现。在本年度的评选中,华人学者 Ruohan Gao 的博士学位论文《Look and Listen: From Semantic to Spatial Audio-Visual Perception》获取了 Michael H. Granof 奖。引入多感官数据进修,华人学者Ruohan Gao摘得2021 UT-Austin最佳博士论文奖杰出博士论文奖设立于 1979 年,旨在表彰出色的钻研以及鼓励最高的钻研、写作、学术水平。每年颁发三个奖项,其中一篇会被选中获取该校的最佳论文奖「Michael H. Granof 奖」。杰出论文奖获取者将获取 5000 美元奖金,Granof 奖获取者获取 6000 美元奖金。Ruohan Gao引入多感官数据进修,华人学者Ruohan Gao摘得2021 UT-Austin最佳博士论文奖Ruohan Gao2015 年于香港中文大学(CUHK)信息工程系获取一等荣誉学位,导师为刘永昌(Wing Cheong Lau)教授。博士期间,Ruohan Gao 师从 Kristen Grauman 教授。他的钻研兴趣是计算机视觉、机器进修、数据挖掘等,特别是视频中的多模态进修和多模态下的 embodied learning。2021 年初,Ruohan Gao 从德克萨斯大学奥斯汀分校获取博士学位。目前,Ruohan Gao 是斯坦福大学视觉与进修实验室(SVL)的博士后钻研员。此外,Ruohan Gao 还获取过谷歌博士生奖研金(Google Ph.D Fellowship)、Adobe 钻研奖研金(Adobe Research Fellowship)等荣誉。这篇论文钻研了什么?引入多感官数据进修,华人学者Ruohan Gao摘得2021 UT-Austin最佳博士论文奖论文链接:https://ai.stanford.edu/~rhgao/Ruohan_Gao_dissertation.pdf懂得场景和事件本质上是一种多模态经验。人们通过观察、倾听 (以及触摸、嗅和品尝) 来感知全国,特别是物体发出的声音,无论是主动产生的还是偶然发出的,都提供了关于自身物理属性和空间位置的有价值的旗号,正如钹在舞台上撞击,鸟在树上鸣叫,卡车沿着街区疾驰,银器在抽屉里叮当作响……尽管通过「看」,也就是根据物体、行为或人的外表检测的识别取得了重大进展,但它往往不能够「听」。在这篇论文中,作家证明了与视觉场景和事件同步的音频可以作为丰富的训练旗号来源,用于进修 (视听) 视觉模型。此外,作家开发了计算模型,哄骗音频中的语义和空间旗号,从连续的多模态观测中懂得人、地点和事物。引入多感官数据进修,华人学者Ruohan Gao摘得2021 UT-Austin最佳博士论文奖当前大多数计算机视觉系统的现状是从大量「无声」数据集的标识表记标帜图像中进修,而该论文钻研目标是既要会倾听,又要了解视觉全国。作家表示,受到人类哄骗所有感官对全国进行感知的启发,自己的长期钻研目标是建立一个系统,通过结合所有的多感官输入,能够像人类一样感知全国。在论文的最后一章,作家概述了在此博士论文之外希望追求的未来钻研方向。引入多感官数据进修,华人学者Ruohan Gao摘得2021 UT-Austin最佳博士论文奖图 1.2: 音频本身是一个监视旗号,用于语义和空间懂得。钻研的首要目标是从视频和嵌入智能体中复现视听模型: 当多个声源存在时,算法如何知道发声对象是什么以及在哪里?这些视听模型如何在传统的视听任务有所提升?为了解决这些问题,该钻研哄骗了音频中的语义和空间旗号,从连续的多模态观测中懂得人、地点和事物(图 1.2)。这篇论文钻研了以下四个重要问题,以逐步接近视听场景综合懂得的最终目标:

同时观看和聆听包含多个声源的未标识表记标帜视频,以进修音视频源分离模型(第 3 章、第 4 章和第 5 章);

哄骗音频作为预览机制,在未修剪的视频中实现高效的动作识别(第 6 章);

哄骗未标识表记标帜视频中的视觉信息推断双耳音频,将平面单声道音频「提升」为空间化的声音(第 7 章);

通过回声定位进修空间图像表征,监测来自与物理全国的声学互动(第 8 章)。

作家表示,本论文对视听进修的钻研,体现了无监视或自监视的多感官数据进修对人工智能的未来发展具有积极而重要的意义。更多细节请参见论文原文。

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/yin-ru-duo-gan-guan-shu-ju-jin-xiu-hua-ren-xue-zhe/

(0)
上一篇 2021年 10月 24日 下午1:24
下一篇 2021年 10月 27日 下午4:53

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注