Creator 面对面 | 多少深度进修的算法设计和数学表面

2016年,Yann LeCun 等人在 《Geometric deep learning: going beyond Euclidean data》一文中提出多少深度进修这一概念。现今多少机器进修和基于图的机器进修已经是当前最热门的研究课题之一。

2022 年 1 月,上海交通大学自然科学研究院、数学科学学院副熏陶王宇光做客机器之心「2021-2022 年度 AI 技术趋势洞察」的「表面专场」直播间时,为我们带来了主题为「多少深度进修的算法设计和数学表面」的有关报告。

图片

本文整理了会议中的一些精选内容,完整回放视频可点击「阅读原文」查看。

过去一年多少深度进修与 Science 融合应用取得巨大的突破

王宇光熏陶在「多少深度进修的算法设计和数学表面」的有关报告谈到,2021 年多少深度跟 Science 融合取得巨大突破。这两项有关的研究都来自于 DeepMind 。第一项是 Science 2021 十大科学研究之最 AlphaFold,AlphaFold 结合多少深度进修模块成功实现了对蛋白质布局进行快速无效的预测。第二项是 DeepMind 与顶级数学家合作,将 AI 应用于纯数学的两个领域:拓扑和表示论。其中 DeepMind 与牛津大学的 Marc Lackenby 熏陶和 András Juhász 熏陶一起,通过研究纽结 (Knot)的布局发现了不同数学领域之间的意外联系;与悉尼大学的 Geordie Williamson 熏陶一起,DeepMind 发现了一个关于排列猜想的新公式,该猜想几十年来一直未解决。

图片

图神经搜集表达能力的提升与稳健性的增强

在本场技术报告中,王宇光熏陶跟我们介绍了两个方面的研究成果:一个是关于图神经搜集表达能力提升方法。另一个是关于图神经搜集稳健性增强的方法。

图片

首先,王宇光熏陶为我们分享了图神经搜集的有关概念。图神经搜集(Graph Network)是一种基于图布局数据的深度搜集布局,图布局数据节点间有相互连接,因此在节点上以及边上都有相应的特点。每个特点提炼层是图卷积和消息传递。

图片

紧接着,王宇光熏陶向我们介绍了谱图卷积框架。

图片

王宇光熏陶指出,要想增强图卷积搜集的稳健性和抗噪能力可以通过图框架小波变换来实现。只不过在这里要使用稀疏的 L1 正则,这种正则才能够使得得到的系数表示在尽量少的情况下,更无效地提炼近似特点和细节特点。

图片

消息传递纯真复形搜集

要超越图神经搜集的表达,需要提炼更多的信息,王宇光熏陶表示可以通过提炼图或者提炼更高阶的拓扑布局放到搜集的进修中来提升图神经搜集的进修能力。

图片

但同时 GNNs 有如下三个缺陷:

图神经搜集在群组相互作用中表现效果比较差

不能提炼高阶的布局信息

更高阶信号中,不能无效提炼很长的路径

图片

而可以改善这三个缺陷的一个新型的搜集叫纯真复形搜集。纯真复形事实上是一个拓扑集合,它在做子集运算时是闭的,并且它包含所有的单点集。

图片

在这部分中,王宇光熏陶向我们介绍了一个计算复杂度表面有关的算法:WL (Weisfeiler-Lehman)算法。该算法用于判断两个图是否同构。该算法有一种特定的程序,即 WL 测试。

图片

而在纯真复形搜集中,要考虑将 WL 算法推广到纯真形 WL 测试(SWL)。

图片

SWL 对应一种纯真形状的神经搜集的一个消息传递模式,把它借鉴过来,称为消息传递纯真复兴搜集。王宇光熏陶指出通过 SWL 构造 MPSN ,从而可以在多少深度进修中利用数据的高阶布局信息。

图片

同时,王宇光熏陶表示从计算复杂性和搜集复杂性两个维度来看 MPSNs 是优于 GNNs 的表达能力。

图片

图片

最后,王宇光熏陶指出如何设计无效处理对抗攻击、局部噪音、如何提高 MPSN 的泛化能力以及无效进修环等更适合分子布局的拓扑特点是我们后续需要关注的问题。

图片

原创文章,作者:SOTA模型,如若转载,请注明出处:https://www.iaiol.com/news/creator-mian-dui-mian-duo-shao-shen-du-jin-xiu-de-suan-fa/

(0)
上一篇 2022年 7月 22日 下午5:26
下一篇 2022年 7月 25日 下午5:41

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注