清华大学发布首个主动图呆板进修工具包AutoGL,开源易用可扩张,支撑自定义模型

如何运用主动呆板进修 (AutoML) 加速图呆板进修工作的处理?清华大学发布全球首个开源主动图进修工具包:AutoGL (Auto Graph Learning),支撑在图数据上全主动进行呆板进修。

人工智能的蓬勃发展离不开数据、算力、算法这三大要素。而在浩瀚的数据中,有一种数据结构既普遍又复杂,它就是图(graph)。

清华大学发布首个主动图呆板进修工具包AutoGL,开源易用可扩张,支撑自定义模型

图是一种用于描述事物之间关系的结构,其基本构成元素为节点和连接节点的边。

很多分歧领域的研究问题都可以很自然地建模成图呆板进修,例如蛋白质建模、物理系统模拟、组合优化等基础研究;社交媒体分析、推荐系统、虚假新闻检测等互联网运用;以及金融风控、知识表征、交通流量预测、新药发现等。

清华大学发布首个主动图呆板进修工具包AutoGL,开源易用可扩张,支撑自定义模型

社交网络图示例。

图结构丰富且具有与生俱来的导向能力,因此非常适合呆板进修模型。同时,它又无比复杂,难以进行大规模扩张运用。而且分歧的图数据在结构、内容和工作上千差万别,所需要的图呆板进修模型也可能相差甚远,这就导致分歧工作的模型主动化面临巨大挑战。如何设计最优的图主动呆板进修模型,是一个尚未处理的难题。

图 + AutoML = ?

主动呆板进修 (AutoML) 旨在将呆板进修的过程主动化,在降低呆板进修运用门槛的同时,提升呆板进修的效果。但现有的主动呆板进修工具,无法考虑图数据的特殊性,因此无法运用在图呆板进修模型中。

为了处理该问题,清华大学朱文武教授带领的网络与媒体实验室发布了全球首个开源主动图进修工具包:AutoGL (Auto Graph Learning)。该工具支撑在图数据上全主动进行呆板进修,并且支撑图呆板进修中最常见的两个工作:节点分类工作(node classification)与图分类工作(graph classification)。

清华大学发布首个主动图呆板进修工具包AutoGL,开源易用可扩张,支撑自定义模型

AutoGL 流程图。

AutoGL 工具包首先运用 AutoGL Dataset 维护图呆板进修工作所需数据集。AutoGL Dataset 导入了大规模图表示进修工具包 CogDL 和图神经网络库 PyTorch Geometric (PyG) 中的数据集模块,并添加对 OGB 数据集的支撑,同时还添加了一些支撑以便集成 auto solver 框架。

分歧的图呆板进修工作可以通过分歧的 AutoGL Solver 得到处理。AutoGL Solver 运用四个主要模块主动化处理给定工作,分别是特点工程(Feature Engineering)、图进修模型(Graph Learning Model)、超参数优化(HPO),以及模型主动集成(Auto Ensemble)。每个部分在设计时都引入了对图数据特殊性的考虑

模块 1:特点工程

AutoGL 特点工程模块包含了图呆板进修过程中常用的特点工程办法,包括节点 / 边 / 子图特点提取、变换和筛选,如节点度数、节点 ID、特点向量等。这些办法显著丰富了目标图数据上的信息,提高了图进修的效果。同时,用户还可以非常便当地扩张特点工程模块,以实现个性化的需求

模块 2:图进修模型

AutoGL 目前支撑 GCN、GAT、GIN 等常见图进修模型,可以完成包括点分类、图分类在内的多种常见工作,运用方式简单,上手便当。同时,AutoGL 主页还提供了详细的说明文档,支撑用户自定义模型,可扩张性良好

模块 3:超参数优化

AutoGL 目前集成了多种通用超参数优化办法, 如网格搜寻、随机搜寻、贝叶斯优化、模拟退火、TPE 等算法,同时还包含专门针对图进修优化的主动呆板进修算法 AutoNE。该模块省去了图进修中繁杂的手动调参过程,极大地提高了工程效率。同时,该模块易于运用,用户只需给出各个超参数的类型和搜寻空间、指定超参数优化办法,即可快速上手运行若干主动图进修模型。

AutoGL 会在给定的资源预算(时间、搜寻次数等)内给出最优的超参数组合。该模块同样支撑扩张,用户可以自定义新的超参数优化算法

模块 4:模型主动集成

主动集成模块目前支撑两类常用的集成进修办法:voting 和 stacking。该模块通过组合多个基模型得到一个博采众长的集成模型,从而进一步提升图进修的效果。

AutoGL 工具包目前支撑多种算法,如下表所示:

清华大学发布首个主动图呆板进修工具包AutoGL,开源易用可扩张,支撑自定义模型

AutoGL 工具包四个分歧模块所支撑的算法。

AutoGL 工具包极大地便当了开发人员进行对应的图进修算法设计和调优。用户只需按照 AutoGL 的数据集标准提供目标数据集,AutoGL 就会主动寻找最优的模型和对应的超参数,从而简化图进修算法开发与运用的流程,极大提升图进修相关的科研和运用效率

此外,AutoGL 工具包还提供了一个供运用者公平地测试与对比算法的平台。AutoGL 在设计时遵循模块化思想,每个模块均可扩张,用户只需实现对应模块类的接口,即可便当地测试自己的算法,为快速获得 baseline 效果、公平对比分歧模型性能提供便当。

未来展望

据 AutoGL 研发团队透露,他们将进一步深入研发,以便当其他研究者、业界运用者和初学者快速上手 AutoGL,处理学术界、产业界遇到的图进修相关问题。

AutoGL 网站显示,该工具包将在近期支撑以下功能:

神经架构搜寻;

大规模图数据集支撑;

更多图工作(如链接预测、异构图工作、时空工作);

Graph Boosting & Bagging;

对更多图模型库提供后端支撑(如 DGL)。

AutoGL 研发团队期待得到各类运用反馈,以更好地完善 AutoGL 的各项功能。「我们的最终目的是推动主动图呆板进修在学术界与工业界的深层次探索和运用。」AutoGL 研发者谈及之后的计划时表示。

相关链接

AutoGL 网站地址:http://mn.cs.tsinghua.edu.cn/autogl/

AutoGL 代码链接:https://github.com/THUMNLab/AutoGL

AutoGL 说明文档:https://autogl.readthedocs.io/en/latest/index.html

图深度进修模型综述:https://arxiv.org/abs/1812.04202

参考阅读:

深度进修时代的图模型,清华发文综述图网络

腾讯 AI Lab 联合清华、港中文,万字解读图深度进修历史、最新进展与运用

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/qing-hua-da-xue-fa-bu-shou-ge-zhu-dong-tu-dai-ban-jin-xiu/

(0)
上一篇 2020年 12月 18日 下午5:12
下一篇 2020年 12月 23日 下午2:34

相关推荐

  • 呆板之心CVPR线下论文分享会干货集锦,同时邀你报名ACL 2021论文分享会

    随着人工智能的火热,AAAI、NeurIPS、CVPR 等顶级学术会议的影响力也愈来越大,每年接收论文、参会人数的数量连创新高。但受疫情影响,近两年国外举办的学术会议都转为了线上,无法满足学者们现场交流的需求。以 CVPR 为例,2019 年,CVPR 注册参会人数高达 9227 人,其中来自国内的参会人数就达到 1044 位。因此,在 2020 年和 2021 年,国内 AI 从业者因疫情限制无法进行有效的学术交流。

    2021年 7月 1日
  • 寻找了不起的AI开发者!2022年WAIC云帆奖报名开启

    2022 年 WAIC 云帆奖面向全球征选特出华人 AI 开发者,欢迎点击「阅读原文」报名或提名。

    2022年 4月 17日
  • 跳过人脸检测和关键点定位,Facebook等提出及时3D人脸姿势估量新法子

    来自 Facebook AI 和美国圣母大学的研究者提出了一种 6 自由度的及时 3D 人脸姿势估量技术,可以不依赖人脸检测和人脸关键点定位独立运行。

    2021年 2月 9日
  • 我今年89岁,刚刚拿了个物理学博士学位

    小时候,无数人说自己长大后要当「科学家」、「发明家」,但他是认真的。

    2021年 11月 6日
  • 观点 | 物理车钥匙该退出历史舞台了吗?

    原作者 / BENGT HALVORSON:Green Car Reports编辑、Internet Brands Automotive Group高级编辑,已从事汽车行业报道工作20余年。编译 / Angelina上周五晚上(11月19日),一些特斯拉车主遇到了棘手难题——特斯拉的APP或者网络出现错误,致使他们无法连接到自己的车辆,并且其中一部分人,根本无法加入车内并驾驶。 这次错误致使特斯拉的手机钥匙功效,对部分人来说变得毫无用处,而并不是由车辆本身的硬件问题所致使。「看起来我们大概不小心增加了过多

    2021年 11月 23日
  • 墨芯首席科学家严恩勖:用稠密化解决时代最严峻的算力寻衅

    人工智能进入黄金时代,正改变各行各业以及我们的日常生活。今日集微网报道,随着人工智能使用的普及,稠密化进入人工智能行业的主流企业视野。稠密化估计能帮助人工智能突破硬件算力极限,有望实行十倍、甚至百倍的人工智能使用加快,并大幅降低估计成本。墨芯人工智能从诞生起,即专注于稠密化估计产品和解决方案,独创双稠密算法,为客户提供高品质AI估计解决方案,携手共创AI估计未来。为此,墨芯人工智能首席科学家严恩勖针对企业目前的发展历程、研究成果、企业劣势、未来发展等,与集微网分享了他的看法和观点。以下为访谈内容:集微网:在AI报告

    2022年 7月 12日
  • Judea Pearl推荐,UC伯克利研究者合著机械进修新书,可当研究生教材

    前段时间,加州大学伯克利分校 Moritz Hardt 和 Benjamin Recht 合著的新书受到了广泛关注。这本书首要阐述了机械进修的模式、预测以及实现,并面向研究生使用。

    2021年 5月 18日
  • 通过赞美随机化发现多智能体游玩中多样性政策行为,清华、UC伯克利等研究者提出全新算法RPG

    在这篇论文中,研究者提出了一个在 reward-space 进行摸索的新算法 RPG(Reward-Randomized Policy Gradient),并且在存在多个纳什均衡 (Nash Equilibrium, NE) 的挑战性的多智能恣意中进行了实验验证,实验结果表明,RPG 的表现显著优于经典的 policy/action-space 摸索的算法,并且发现了很多有趣的、人类可以理解的智能体行为政策。除此之外,论文进一步提出了 RPG 算法的扩展:利用 RR 失掉的多样性政策池训练一个新的具备自适应能力的策

    2021年 3月 11日
  • 神经搜集debug太难了,这里有六个实用技巧

    神经搜集的 debug 过程着实不容易,这里是一些有所帮助的 tips。

    2021年 6月 11日
  • 优必选科技四上春晚,“垦荒牛”机器人展现硬科技革新力量

    2月11日,在央视2021牛年春晚的舞台上,优必选科技全新研发的首款大型四足机器人化身“垦荒牛”,与刘德华、王一博、关晓彤等一起呈现了科技感十足的创意表演《牛起来》。它们以拼搏进取的深圳 “垦荒牛”为设计原形,融合祥云及华夏红等传统文化元素,以绚丽的灯光及机械结构诠释科技美感,伴随激昂的音乐奔腾向前。从2016年春晚540台Alpha机器人登台齐舞到2018年春晚24台Jimu汪汪组队拜年,再到2019年春晚6台Walker机器人与演员同台表演歌舞《青春畅想》……优必选科技已经四次登上春晚舞台,展示华夏人工智能和机

    2021年 2月 12日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注