第四范式NeurIPS 2020：学问图谱嵌入的自动化

学问图谱嵌入（Knowledge Graph Embedding）目前在学习学问图谱（KG）中的学问表达上具有很强的能力。在以往的钻研中，很多工作主要针对单个三元组（triplet）建模，然而对 KG 而言，三元组间的长链依赖信息在一些义务上也很重要。在第四范式、香港科技大学这篇被 NeurIPS 2020 会议接收的论文中，钻研者鉴于由三元组组成的联系门路（relational path）提出 Interstellar 模型，通过搜寻一种递归神经网络，来处理联系门路中的短链、长链信息。

论文链接：https://arxiv.org/pdf/1911.07132.pdf

代码链接：https://github.com/AutoML-4Paradigm/Interstellar

首先，该钻研通过一组模拟实验分析了用单一模型对分歧义务中联系门路建模的难度，并由此提出通过搜寻的体式格局对分歧义务针对性地建模。为了提高搜寻效率，该钻研提出了一种混合搜寻算法（hybrid-search algorithm），在链接预计（link prediction）和结点立室（entity alignment）义务上，能高效地搜寻到具有更好效果的模型。背景介绍

学问图谱嵌入（KG Embedding）旨在把图谱中的结点（entities）和联系（relations）映射到一个低维空间，同时保留图中的重要性质。在目前学术领域，一些工作鉴于单个三元组(s,r,o)建模，如 TransE、RESCAL、DistMult、RotatE、ConvE、SimplE 等，它们在链接预计义务（即给定头结点 s 和联系 r ，预计尾结点 o ）上表现良好，而在结点立室义务（即给定两个 KG，预计哪些结点有相同含义）上性能一般。另一类鉴于联系门路的工作，如 IPTransE、Chains、RSN 等则在结点立室义务上表现更好。钻研人员观察到，联系门路包含多种重要信息，如单个三元组的短链信息、多个联系的复合、多个三元组之间的长链信息等等。鉴于此，该钻研提出 Interstellar 模型，通过搜寻的体式格局来根据分歧义务，有针对性地对联系门路进行建模。动机为了验证分歧模型对分歧义务的拟合能力分歧，钻研人员设计了一组模拟实验。Countries 数据集有 S1-S3 三个分歧义务，预计难度逐一增大，需要模拟的预计门路逐渐变长。为此钻研者鉴于先验学问（prior knowledge）设计了 4 类模式 P1-P4，分别用于建模单个三元组、连续的两个三元组、多重联系的复合，以及全递归连接。直观上看，P4 的建模能力更强，但在有限的样本上，样本复杂度同样重要，选择更能拟合数据规律的模型能够获得更好的效果。如下表所示，在 S1 这个简单义务上，鉴于单个或两个三元组的模型 P1 和 P2 表现更好，在 S2 上 P1-P3 均优于 P4，而在 S3 上，递归模型 P4 由于能模拟更长门路而胜出。由此我们可以得出，联系门路上的建模应该是模型相关的，如果我们能够通过搜寻的体式格局把专家的先验学问融入到建模能力中，那么针对分歧义务，模型就可以自动地找到更优解。

问题定义与搜寻空间

首先，钻研者将 Interstellar 定义为一个递归式地处理联系门路的模型，在每一个递归步中，模型关注到一个三元组，信息在三元组之内、之间以分歧体式格局穿梭。与传统 RNN 分歧，这里的每一步有两个输入，同时由于需要考虑学问图谱相关的领域学问，单纯地使用 RNN 对其建模是不合适的。为了利用好学问图谱领域的先验学问，同时使模型可以适用于分歧义务，受神经网络搜寻技术（Neural Architecture Search）的启发，该钻研把建模问题定义为搜寻问题，来自适应地对分歧义务建模。通过对学问图谱嵌入领域相关模型的总结，该钻研提出上图的搜寻空间，利用运算单元 O_s 来处理结点嵌入 s_t ，用 O_r 来处理联系嵌入 r_t ，用 O_v 来输出向量 v_t 从而预计下一个结点 s_t+1 。具体而言，该钻研在 macro-level 搜寻分歧单元间的连接体式格局（connections）和复合体式格局（combinators），在 micro-level 搜寻激活函数（activation）与权重矩阵（weight matrix）。搜寻算法

该钻研的目标是更快地在搜寻空间中找到能在验证集上达到更好性能的模型，这可以通过 bi-level 优化体式格局来定义。为了求解这个优化问题，学术界目前有两类方法。一类是 stand-alone 算法，对每个模型单独训练参数 F 至收敛，这样可以得到准确的性能评估 Μ ，但训练代价较高；另一类是 one-shot 算法，建立一个包含所有网络的超网络（supernet），分歧模型在超网络中采样，同时可以参数共享，这样的评估体式格局更高效，但不总能保证可靠性。钻研人员观察到在 Interstellar 的建模上，one-shot 体式格局并不可靠。为了解决这些问题，该钻研提出 Hybrid 搜寻算法，在 macro-level 采用 stand-alone 体式格局，给定 α_2 ，从 Α_1 中采样分歧的 α_1 ，训练模型参数至收敛，拿到对 α_1 的可靠评估；在 micro-level 采用 one-shot 体式格局，给定 α_1 ，从 Α_2 中采样分歧的 α_2 ，同时让分歧 α_2 对应的模型在超网络中共享参数，加速训练评估的过程。二者结合，即保证了搜寻准确性，又保证了搜寻效率。实验结果在搜寻效果上，该方法在结点立室和链接预计义务中，都能针对分歧数据义务搜寻到更好的模型，这得益于 Interstellar 上合理的搜寻空间和高效的搜寻算法。

在搜寻效率上，Hybrid 算法能够比随机搜寻（Random）、强化学习（Reinforce）、贝叶斯优化（Bayes）算法更快地得到更好的模型，同时下图中的两条虚线（表示单独的 one-shot 算法）表明其在这个问题上性能并不好。在搜寻时间上，Hybrid 算法和调参（如 learning rate、batch size 等参数）时间是相当的，说明这个搜寻方法代价并不高。在新的问题中，先搜寻模型再进行调参是一个不错的选择。