Creator 面对面 | 通往第三代人工智能的实践之路如何走?

人工智能已经是一门使能技巧。现在人工智能取得突破性的规模偏向,一定是从脑科学、材料学等规模得到了启发。同时,人工智能在现在将成为科学家的新生产工具,催生科研新范式。

2022 年 1 月,华为诺亚方舟决策推理实验室郝建业主任,上海交通大学自然科学研讨院和数学科学学院副熏陶王宇光和清华大学智能产业研讨院(AIR)助理熏陶黄文炳做客呆板之心「2021-2022 年度 AI 技巧趋势洞察」直播间,共同探讨了「通往第三代人工智能的实践之路如何走?」这一主题,洞察 AI 技巧在「AI 算法实践」方面的落后趋势与潮水所向。

图片

AI算法实践当前落后情况

在2021年AI实践方面的工作中,最让您印象深刻的是哪个?为什么?

首先,郝建业主任谈到,21 年整个 AI 落后得很是快,如果从大的 AI 偏向来讲,大概印象最深的就是大模型,尤其从最开始的 NLP 规模的大模型,从 BERT 到 GPT 2 到 GPT 3,包括到现在受 GPT 的一个启发,在 CV 规模也开始涌现出一些所谓 CV 规模的一些视觉大模型,那么这块大概是目前对整个 AI 规模的冲击最大的一个技巧的落后。尤其在工业界也很是重视大模型的这个技巧突破,也很多人会以为它大概会打造一个新一代的服务模式,由这个 Software-as-a-Service 到 Big Model as A Service 来达到通用的云服务能力。那么这个就大概是今年 在 AI 方面无论是对学术界还产业界冲击最大的一方面。再来一个方面是有关进修优化的研讨,其中,郝建业主任谈到 DeepMind 联合谷歌用神经网络与呆板进修方法来解决混合整数规划(MP)成绩用于基础 MIP 求解器这一工作来指出交叉混合的趋势也大概是现在一个主流的研讨偏向,尤其是交叉混合可以用在在解决一些传统大规模的优化成绩上。

接着,王宇光熏陶谈到自己第一个吸引他的点是图神经网络在优化成绩上的应用。王宇光熏陶以为通过深度进修加快优化成绩的求解是一个比力好的趋势。例如使用图神经网络来将数学猜想证明转换成对图神经网络的搜索成绩,借助深度进修的快速训练能力来提高对搜索成绩解决的效率。此外,王宇光老师提到谷歌今年一项热门的研讨:Graph Kernel Attention Transformers(GKATs)来指出利用 Transformer 结合图神经网络来达到更好的效果也是值得关注的一个趋势。

最后,黄文炳老师补充说到除了大模型、Transformer 的应用趋势外,自己印象深刻的是图灵奖获得者 Geoffrey Hinton 在 21 年年初发布最新论文讲解 GLOM,表达神经网络中部分-整体层次结构这个工作。以此来指出在模型设计中加入几许属性的设计大概是现在一个落后的潜力偏向。

1月初您在上海和几位学者共同发起了“进修与优化”研讨会,邀请了白盒优化、加强进修、演化进修等黑盒优化规模的知名学者进行分享,可否请您分享一下研讨会上您印象比力深刻较为有启发的思路与工作?

郝建业主任回答道,做“进修与优化”研讨会是希望把做进修与优化,包括白盒优化、加强进修、演化进修等的一些知名学者汇聚在一起去深入交流探讨现在进修优化偏向的演进思路。探讨后大家都一致以为现在应该重点去突破或者关注的一个偏向就是如何将这个呆板进修和传统的优化算法去做混合,来帮助更好地解决大规模,比如说上百万甚至上千万变量或者是优化的约束成绩。例如,郝建业主任所在团队做的一个尝试:对求解空间做一个自适应的进修和优化可以极大地提升整个求解成绩的效率。

张钹院士在《迈向第三代人工智能》一文中将符号主义称为第一代 AI, 称连接主义为第二代 AI, 将要落后的 AI 称为第三代 AI,您如何理解第三代人工智能?经过几十年的落后,人工智能演化出了多个分支流派,这些分支一直都在彼此争夺主导权,第二代人工智能的爆发,主要源于连接主义的神经网络有了突破性落后;您以为,下一代人工智能将由哪个流派主导?

黄文炳老师回答道张院士提到的第三代人工智能是恰逢其时的。在《迈向第三代人工智能》一文中,对于下一代人工智能的模式,张院士提到知识和数据的结合,即符号主义和连接主义的联姻。黄文炳老师赞成这一观点。黄文炳老师以为 AI 落后到今天很大的成功,还是归根于这个深度进修跟大数据的结合。但除此之外,我们还看到很多其他的规模,特别是科学规模,不只要求让呆板模拟普通人的智能,更应该是去学会专家的智能。这种情况下我们怎么获取这种数据是很是困难的。例如 AI 医疗中的药物研发这一规模的数据获取以及标注。而张院士提到跟知识结合是一个很是好的解决方案,即我们能不能把专家规模的一些知识凝练成一些规律,也甚至可以凝练成王老师谈到的几许的信息,比如几许物理、化学的这种性质加到模型的设计当中,从而来减少我们对数据的依赖,这是下一代人工智能一个特别重要的偏向。

在这个成绩上,王宇光熏陶跟黄文炳熏陶的观点一样,以为如何把 AI 和各个 Science 结合起来是现在的一个很重要的偏向,比如和量子化学相结合用来预测分子对应的一些特性。

郝建业主任也回答到关于 AI 与多个科学规模的知识混合已经成为一个共识。但目前的混合方式还有很大的落后空间,新的进修范式现在需要重点去研讨和突破。包括现在的大模型,是纯数据驱动的一个方式,它对计算资源的依赖很是大,这就导致只有头部的公司才有足够的资源来投入相关研讨。怎么去做更轻量的数据,更高效的计算资源,更高效的模型是第三代 AI 的落后中能够得到一个好的答案。

观众提问:加强进修的稳定性的成绩是否比深度进修更有机会被证明?

针对该成绩郝建业主任谈到,加强进修的稳定性成绩目前还没得到有效的解释和证明,这也和深度进修的可解释性相关。在深度进修可解释性得到解决前,我们可以通过加强进修深度模型和传统的方式做有机混合,达到控制策略的泛化性从而保证在各种 Corner Case 的情况下的应用仍然是安全可控的。                                

AI实践研讨背后的科学研讨

据您所知近期是否有哪些目前相对比力小众但有前景(有意思)的跨规模研讨?可否请您为观众简要介绍一下?

首先由王熏陶回答,他以为比力小众且有趣的跨规模研讨之一是 21 年末 DeepMind 登上 Nature 的一篇文章 《Advancing mathematics by guiding human intuition with AI》,该文章提出的框架使得数学家可以通过使用呆板进修工具来启发他们对复杂数学对象的直觉,将统计学和呆板进修很好地融入了数学研讨。另外一个是王熏陶自己最近的研讨,通过胃癌的染色切片数据训练模型来预测癌症病人生存期的成绩。如果仅通过图片的划分来形成样本后通过 CNN 训练的话,效果仅 60%,但后来通过将肿瘤研讨中的肿瘤微环境通过图来表达,利用图神经网络,最终使效果得到惊人的提升,达到 96%。

之后黄熏陶补充到,图神经网络应用到物理规模也是一大趋势。比如物质是由粒子组成的,原子组成分子,分子组成蛋白质,蛋白质组成细胞等等,这本身其实就是一个个的图,很是适合用图神经网络来建模和表示。最后黄熏陶还分享了他们清华大学智能产业研讨院与腾讯 AI Lab 的合作,共同提出了一种新型的图力学神经网络,首次对实践力学中如连杆、铰链等基本单元及其交互进行了动力学建模,并且这个图神经网络满足物理中的一个重要性质–对称性,即关于旋转和平移等变,初步在分子动力学模拟、人体骨架轨迹预测等进行了效果验证。

人工智能技巧的落后离不开其他基础科学的支撑,您以为哪些基础科学难题的攻克或具体技巧的进一步落后有大概使人工智能技巧取得下一个跨越式落后?

针对该成绩,郝建业主任以为需要三个方面的突破,即如何学的好、学的快、学的稳。

第一个学的好,它背后对应的挑战其实就是最优先的成绩,包括如何设计好系统分配的机制去实现最优先的成绩。

第二个学的快,其实就是收敛性的成绩,如何能确保它的快速收敛。比如可以用表征进修、迁移进修的一些范式去解决收敛性的成绩。

第三个学的稳,其实就是解决稳健性的成绩,如何提升 policy,在训练的过程中自动的生成一种比力多样化的 policy,以及如何在部署之后能够表现出一个很是自适应的泛化性和稳健性。

他还提到,一方面,这些背后都对应了一些基础性的一些科学难题,需要我们进一步去攻克。另一方面,除了用比如基础学科来助力 AI 之外,我们大概更需要关注如何使 AI 去助力其他学科或者是其他实际的应用的一个进步。

王熏陶后补充到,人工智能并不仅仅是其算法本身或者是数学本身能够去提升它,例如传统深度进修的发力点是由于 GPU 的引入,是因为算力的提升。因此如果量子科学、量子计算等规模的难题的被攻克或具体技巧的进步,对人工智能来说也将是一个很是大的助力。还有就是脑科学的研讨,下一代人工智能的设计比如通用人工智能的一些技巧和模块,可以从脑科学的研讨中得到启发。

AI 实践落后趋势现在展望

您以为在您所从事的规模,下面进一步落后,存在的主要瓶颈是什么?以及下一年在AI实践整体方面,大概会有较大进展与突破的偏向是什么?有没有您以为比力值得关注和跟踪的团队或者项目?

首先回答的是郝建业主任,他以为目前国外尤其是美国和加拿大对于这个规模的研讨或者是布局是更领先的,它们的研讨团队也是相对实力很是雄厚的,比如较为熟悉的 DeepMind、UC Berkeley 和 加拿大的阿尔伯塔大学等等。同样加强进修的这一波浪潮也是由 DeepMind 发起的。在国内,可以发现越来越多的团队投入或是转向加强进修,成为一大趋势。他还说,从近两年的几大顶会的文章中可以发现,加强进修的文章已经开始超过深度进修,成为头号关键词,这也反映出加强进修是一个比力火热的一个落后趋势。

之后,王熏陶也发表了见解,提到其所在规模面临的主要瓶颈是图神经网络很难形成大规模,容易出现一个称谓 overscorching 的信息瓶颈成绩。针对此成绩的解决,项目比如 DeepMind 解释信息瓶颈的研讨和 Twitter research  用黎曼几许的黎曼曲率研讨信息流的成绩是王熏陶目前比力关注的。他还提到如果把 transformer 看成图神经网络的话,transformer 目前缺乏数学实践的支撑,比如表达能力的研讨、逼近阶的研讨等等,这将是现在的一大挑战。此外,王熏陶推荐关注最早编写了的 Geometric Deep Learning 的综述的牛津大学的 Michael Brown 熏陶的团队,还有阿姆斯特丹大学的 Max Welling 等研讨。

最后,黄熏陶补充到,人工智能与多种技巧学科的交叉是现在的一个大偏向,其从大的角度的来看的瓶颈有如下两点:

数据难获取。与各个交叉学科的学校、企业或是科研机构合作从而获取数据的这一过程很是困难。

交叉学科人才少。人工智能目前落后到 AI + X 的模式,要求研讨人员对多学科的基础规模有充分的认识。

当然这既是一种挑战又是一个机遇,给我们提出了人才培养的一种新的偏向。

黄熏陶还提到,如果深度进修之前的图神经网络研讨为 1.0 版本,那么现在基于深度进修的图神经网络还处在 2.0 的版本,现在图神经网络将有大概落后为 3.0 版本,即更多是几许等变图神经网络的研讨,让图神经网络能处理多种具有物理、几许空间等属性的数据结构,例如分子、蛋白质、物理刚体系统等,使得它满足物理对称性,并指出这是现在的落后偏向。同样其落后的瓶颈是上述提到的两个方面,数据和人才。另外黄熏陶推荐关注的有早在2016年 ICML 上提出群等变卷积神经网络(Group equivariant Convolutional Neural Networks)的 Cohen 和 以色列大学的获得 ICML best paper 的 Haggai Maron。

图片

原创文章,作者:SOTA模型,如若转载,请注明出处:https://www.iaiol.com/news/creator-mian-dui-mian-tong-wang-di-san-dai-ren-gong-zhi/

(0)
上一篇 2022年 7月 26日 下午3:45
下一篇 2022年 7月 26日 下午3:55

相关推荐

  • 顶会paper愈来愈多,我该怎么看?

    顶会论文愈来愈多,如何阅读?中国科学院大学计算机应用技术博士王晋东给出了一些建议。

    2020年 12月 1日
  • 模块化的机器进修体系就够了吗?Bengio师生告诉你答案

    Bengio 等研讨者刚「出炉」的预印本论文,探讨了机器进修体系的一个重要方向问题。

    2022年 6月 9日
  • 腾讯朱雀实验室推出代码防护技巧Deep Puzzling,让代码更难被猜透

    随着AI技巧与网络安全结合得越来越紧密,鉴于AI技巧的网络攻防手段也在日益更替。11月26日,全球顶级的信息安全峰会HITB+Cyberweek 2021于近日举办,腾讯朱雀实验室专家钻研员Jifeng Zhu和钻研员Keyun Luo受邀参加,并进行了题为《Deep Puzzling: Binary Code Intention Hiding based on AI Uninterpretability》(《鉴于AI不可解释性的二进制代码用意躲藏》)的议题分享。会上,腾讯朱雀实验室展示了如何行使AI模型的特性,实

    2021年 11月 27日
  • 深度进修模型知识产权损坏怎么做?看看IJCAI 2021这场Workshop说了什么

    在刚刚结束的 IJCAI 2021 大会上,「深度进修模型知识产权损坏国际研讨会(DeepIPR-IJCAI’21)」正式举行,这场研讨会由微众银行、马来亚大学、香港科技大学、上海交通大学共同主办。

    2021年 8月 31日
  • 模型鲁棒性好不好,复旦大学一键式评测平台告诉你

    复旦大学自然言语处置惩罚实验室发布模型鲁棒性评测平台 TextFlint。该平台涵盖 12 项 NLP 使命,囊括 80 余种数据变形步骤,花费超 2 万 GPU 小时,进行了 6.7 万余次实验,考证约 100 种模型,选取约 10 万条变形后数据进行了言语合理性和语法正确性人工评测,为模型鲁棒性评测及提升提供了一站式解决方案。

    2021年 4月 6日
  • 时隔243年,欧拉的「三十六军官」布列课题,在量子态中得到解决

    量子在解决数学课题中发挥了它们的魔法。

    2022年 1月 11日
  • 特朗普签行政令禁用8款华夏APP:支付宝、微信、QQ在列

    若行政令失效,45 天之后这些利用在美国的交易将视为非法。

    2021年 1月 6日
  • 2021 Facebook 博士奖研金名单出炉:13位华人学者获选

    今年,Facebook 从来自全球百余所大学的 2163 份申请中选出了 26 位奖研金获得者,华人博士生占据半数。当地时间 4 月 22 日,Facebook 公布了 2021 年博士生奖研金(2021 PhD Fellowship)获得者的名单,共有 26 位博士生获奖,其中华人博士生占据半数,多达 13 位。Facebook 奖研金计划主要面向计算机科学与工程领域的重要主题,包括计算机视觉、编程语言等。获奖者将获得为期两个学年的学费,并获得 42000 美元的津贴,其中包括会议旅行等支持。此外,获奖者还将受邀

    2021年 4月 24日
  • 京东云发布618十大手艺,意在带动行业的新一轮变革

    6月15日,以“解码京东618:京东云发布十大手艺使用趋向”为主题的媒体沙龙在京东举办,这也是京东团体统合云、零卖、物流多方618手艺团队首次全面解密亿级消费洪峰、全供应链最复杂场景背面的手艺图景。活动现场,京东零卖逐层揭开了库存周转31.2天,这一世界级数字背面的奥秘,并由京东物流“接力”分享了如何通过一体化供应链完成全国超200座城市分钟级投递的过程,展示了商品从零卖到物流,最后送至消费者手中的全链路过程。与此同时,作为京东618的手艺基石,京东云全面展现了在面对

    2021年 6月 16日
  • 库克、盖茨等500余人联名倡议:让每一个中小先生都能学计算机课程

    蒂姆 · 库克、杰夫 · 贝佐斯、比尔 · 盖茨等科技界知名人士在公开信上签了名。近日,500 余名商业、培养和非营利部门的知名人士签订了一封联名信,呼吁州长和培养领导者更新美国基础培养 K-12 课程,让「每所书院的每一个先生都有时机进修计算机科学」。签订者名单包含许多科技界的知名人士,包孕苹果首席执行官蒂姆 · 库克、亚马逊创始人兼执行主席杰夫 · 贝佐斯、Alphabet 首席执行官桑达尔 · 皮查伊、微软联合创始人比尔 &mi

    2022年 7月 13日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注