4 月 29 日晚，国际万维网顶会 WWW-2022（The Web Conference，简称 WWW）公布了本届会议的最好论文。以北京大学计算机学院崔斌教授博士生张文涛为第一作者的论文 《可扩大的图神经结构搜刮零碎 (PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm) 》斩获大会唯一的最好学生论文奖（Best Student Paper Award）。
图 1 获奖证书以及官方宣传WWW（现改名为 TheWebConf）会议是计算机和互联网领域历史最为悠久同时最为权威的顶级学术会议之一，被中国计算机学会列为 A 类引荐国际学术会议。本次会议共收到 1822 篇论文投稿，最终录用 323 篇，录用率为 17.7%。本次会议仅评选出一篇最好论文奖和一篇最好学生论文奖，获奖论文首先被会议 “零碎和基础设施” 方向引荐为最好论文进入到大会最好论文候选（共 11 篇），并在最终评比中获最好学生论文奖。获奖论文是北京大学 DAIR 实行室与腾讯机器学习平台部 Angel Graph 团队共同完成，这是 WWW 成立 30 多年以来，中国学术研究机构第 2 次获得最好学生论文奖。
论文链接：https://dl.acm.org/doi/10.1145/3485447.3511986
零碎链接：https://github.com/PKU-DAIR/SGL
1. 内容简介图神经收集模型在多个图任务上都取得了最好效果，并受到了学术界和工业界的广泛关注。然而，现有的图神经收集零碎有如下图所示的两个瓶颈。一方面，受限于单机场景下的存储和计算开销以及分布式场景下的通信开销，大多数鉴于消息传播机制 (Neural Message Passing，NMP) 的图神经收集模型可扩大性较低，很难直接用于现实生活中的大规模图数据。如图 2 所示，以典型的鉴于消息传播机制的 GraphSAGE 模型为例，分布式场景下的高昂通讯代价限制了图神经收集的可扩大性。此外，如图 3 所示，现有的图神经收集零碎需要用户针对特定图数据和图任务编写代码和训练流程，然而设计收集结构也需要经验丰富的专家，建模成本很高。
图 2 图神经收集的可扩大性瓶颈
图 3 图神经收集的建模瓶颈本论文研究了大规模图学习过程中面临的图模型可扩大性低以及建模门槛高两个问题，进而提出了一套能自动化建模超大规模图收集的可扩大图学习零碎。具体来说，本文提出了一个新颖的图神经收集建典范式，并鉴于该范式设计了一个超过 15 万种收集结构的可扩大图收集设计空间，为图神经收集可扩大性的相关研究指明了一个新的方向和路线。此外，本文还实现并开源了一套多目的（如模型猜测效果和资源占用）自动化图神经结构搜刮零碎，来支持更简单和更高效的大规模图学习。2. 零碎目的以及零碎设计与方法区别于现有的大规模图神经收集零碎，本文提出的 PaSca 是一个端到端的零碎。如图 4 所示，零碎的输入有两部分组成：1）图数据 2）搜刮目的（猜测功能、内存占用、训练以及猜测效率等）。给定这两个输入，零碎能自动化地在预定义的可扩大图收集搜刮空间进行高效地搜刮，并输出能兼容多个搜刮目的的可扩大图神经收集模型。
图 4 零碎目的概览可扩大性图神经收集建典范式
图 5 两种建典范式的对比如图 5 所示，现有的图神经收集模型大都遵循如上图所示的消息传递机制。此外，为了兼容主流的图神经收集模型，相应的图神经收集零碎也使用鉴于消息传递机制的零碎抽象。然而，鉴于消息传播机制的图模型在每个 batch 训练过程中都需要进行聚合和更新操作。当图节点数据分布在不同机器上时，频繁的聚合操作会导致高昂的通信开销。区别于现有的消息传递机制，本文提出的 Scalable Paradigm(SGAP)将消息聚合操作和更新操作分离，定义了可扩大性图神经收集建模的新范式：前处理—训练—后处理，消息聚合操作只存在于前处理和后处理中，极大地降低了分布式场景下的通信开销。自动化搜刮零碎本文提出的自动化搜刮零碎包含两个模板，分别是搜刮引擎以及分布式验证引擎。如图 6 所示，在每一次迭代中，搜刮引擎都会从搜刮空间中引荐相应的可扩大图神经收集结构，之后评估引擎训练图收集模型并返回模型的验证结果。
图 6 PaSca 自动化搜刮零碎架构图搜刮引擎的主要目的是找到在 SGAP 建典范式下能同时兼容多个搜刮目的的可扩大图神经收集结构。如表 1 所示，它首先定义了一个包含 15 万种不同收集结构的搜刮空间，并鉴于贝叶斯优化来实现收集结构的引荐。在每次迭代中，引荐服务器会建模观测到的收集结构与优化目的值之间的关系，并引荐能最好地平衡多个优化目的的收集结构。最后，它鉴于验证引擎返回的观测结果来更新历史信息。
表 1 鉴于 SGAP 的收集结构搜刮空间验证引擎的主要是用来高效评估被引荐的模型功能。对于前处理和后处理阶段，图数据聚合器会将图数据划分并存储到多台机器上。对于任意节点，当它的第 i – 阶消息计算完成之后，工作节点会拉取它的邻居信息并计算它下一阶的信息。在训练阶段，每个工作节点都可以用批训练的方式鉴于参数服务器来实现收集参数的更新。3. 实行效果本文在十个真实的数据集上进行实行，实行主要是为了说明：1）鉴于 SGAP 的图神经收集建典范式具有高可扩大性；2）PaSca 零碎搜刮出来的收集能很好地平衡多个搜刮目的，并取得良好的猜测功能。
图 7 可扩大性分析本文比较了鉴于 SGAP 范式建模的 PaSca-APPNP 模型以及鉴于 NMP 范式建模的 GraphSAGE 模型在分布式场景下的可扩大性。固定总的批处理大小并增加工作节点的数目，如图 7 所示，实行发现 PaSca-APPNP 能够获得更接近理想情况下的加速比。
图 8 搜刮结果的帕累托平面如图 8 所示，实行展示了 PaSca 零碎在 Cora 数据集的搜刮结果的帕累托平面。本文从中挑选了 3 个代表性的模型，分别命名为 PaSca-V1, PaSca-V2 和 PaSca-V3。这些代表性模型能兼容不同的优化目的，比如 PaSca-V3 取得了最小的分类误差但是比 PaSca-V2 的猜测时间更久。
图 9 搜刮结果的训练时间与猜测功能对比如图 9 所示，本文实行测试了搜刮出来的代表性模型在实际 Industry 数据集上的猜测功能和训练时间。可以看到 PaSca-V2 和 PaSca-V3 的猜测效果都优于 JK-Net，但是训练时间更短。此外，如表 2 所示，本文在八个数据集上测试搜刮出来的代表性模型的猜测功能。实行发现，鉴于 SGAP 建典范式的图神经收集模型能够取得和其他范式下模型相当甚至更好的猜测功能。另外，搜刮出来的 PaSca-V3 始终取得了最好的模型猜测功能。
表 2 搜刮结果的猜测功能 4. 零碎应用Angel Graph 图计算团队目前负责论文成果在腾讯内部的技术落地。获奖论文的相关成果已实现于 Angel Graph 零碎并部署于腾讯公司太极机器学习平台，广泛应用于金融风控和社交收集引荐等业务，代表性业务落地场景如下：1）微信公众号文章视频引荐场景点击率提升 1.6% 2）PCG 平台与内容事业群内容风控场景恶意识别覆盖率提升 10% 3)微信运营平台中心社交反欺诈场景欺诈账号识别覆盖率提升 20% 4)全民 K 歌个人主页用户相似引荐场景人均关注提升 2.397%。5. 总结图神经收集模型在多个图任务上都取得了最好效果，并受到了学术界和工业界的广泛关注。然而，大多数图神经收集模型可扩大性较低，很难直接用于现实生活中的大规模图数据。此外，设计针对特定图数据和图任务的神经收集结构也需要经验丰富的专家，建模成本很高。为此，本文提出了一个非常新颖的图神经收集建典范式，并鉴于该范式设计了一个可扩大的图神经结构搜刮空间，为图神经收集可扩大性的相关研究指明了一个新的方向和路线。此外，本文还实现并开源了一套多目的（如模型猜测效果和资源占用）自动化图神经结构搜刮零碎，搜刮出来的代表性模型在猜测功能、效率以及可扩大性方面都取得了较好的平衡。PaSca 零碎能帮助研究者更好地探索可扩大的图神经收集结构，极大地促进了图神经收集从学术研究走向实际落地。
原创文章，作者：机器之心，如若转载，请注明出处：https://www.iaiol.com/news/27109
