不同于蛋白质范围，RNA 范围的钻研往往缺少充足的标注数据，比如 3D 数据只有 1000 多个 RNA。这极大限制了机器学习方法在 RNA 构造性能展望工作中的开发。为了弥补标注数据的不足，本文展示了一项可为 RNA 各类钻研提供丰富构造性能知识的基石模型 ——RNA foundation model (RNA-FM)。作为全球首个鉴于 23 million 的无标签 RNA 序列通过无监视方式训练得到的 RNA 基石模型，RNA-FM 挖掘出了 RNA 序列中蕴含的进化和构造模式。值得注意的是，RNA-FM 仅需要配比简单的上游模型，或是仅提供 embedding，就能够在很多上游工作中获得远超 SOTA 的表现，比如在二级构造展望中可以提拔 20%，距离图展望可以提拔 30%。大规模的实验证明，该模型具有极强的泛化性，甚至可以用于 COVID-19 以及 mRNA 的调控片段。
论文预印本：https://arxiv.org/abs/2204.00300代码和模型：https://github.com/ml4bio/RNA-FMServer: https://proj.cse.cuhk.edu.hk/rnafm引言近年来，鉴于深度学习的生物计算方法在蛋白质范围取得了突破性的进展，其中最著名的里程碑当属谷歌 DeepMind 团队研发的端到端蛋白质 3D 构造展望框架 AlphaFold2。然而蛋白质只是诸多生物分子的一种，基因（DNA/RNA）作为蛋白质的产生源头，其相比于后者蕴含了更多的基础信息，有着更重要的钻研价值。一般而言，蛋白质是由用于编码（coding）的 RNA，也就是 mRNA，翻译得到的产物，一段固定的 mRNA 可以翻译为一段固定的蛋白质序列。而实际上这部分用于编码的 RNA 只占所有 RNA 序列的 2%，剩下的 98% 是非编码 RNA（non-coding RNA，ncRNA）。虽然 ncRNA 并不直接 “翻译” 成蛋白质，但是他们会折叠成具有特定性能的三级构造，在 mRNA 的翻译过程中或是其他生物机能中起到调控的作用。因此，分析 ncRNA 的构造以及性能是比蛋白质分析更为基础，也更为复杂的钻研。不过相比于计算方法较为成熟的蛋白质范围，目前鉴于 RNA 的构造和性能展望还处于初期，而原本适用于蛋白范围的计算方法也很难直接迁移到 RNA 范围。限制这些计算方法的主要是 RNA 数据的标注通常获取很难，需要耗费很多的实验资源和时间才能完成少量数据的标注，而计算方法大多又需要大量的标注数据举行监视才能发挥高性能。虽然有标注的数据不多，但 RNA 范围其实也积累了很多的无标注序列数据。本文的方法便是哄骗这些无标签的数据为各种上游工作提供额外的有效信息。鉴于这种考虑，港中文、MIT、复旦及上海人工智能实验室团队提出了一个以无监视方式在 23million 的无标签纯 RNA 序列上训练的基石模型RNA foundation model (RNA-FM)。虽然数据在训练过程中没有提供标注信息，但是 RNA-FM 仍以无监视的方式挖掘出了这些 RNA 序列蕴含着的进化和构造模式。如果能够有效地将 RNA-FM 应用于上游的 RNA 构造和性能展望工作中，这些计算方法必将受益于 RNA-FM 归纳得到的知识，进而实现性能表现上的提拔。RNA-FM 的上游预训练以及上游的迁移和应用框架如下图所示。
钻研概览为了确认预训练的 RNA-FM 是否从大量的无标签数据中学到了 “知识” 以及学到了怎样的 “知识”，文章对 embedding 举行了一系列的分析。首先是直接通过 UMAP 对各种特征举行简单聚类比较，发现来自预训练 RNA-FM 的 embedding 比其他 embedding 形成了具有更加明显的 RNA 种类聚落。这意味着 RNA-FM 的 embedding 确实包含了用于区分 RNA 种类的构造或性能信息。接着，文章还哄骗轨迹推断（Trajectory inference）通过 RNA-FM embedding 去展望来自不同物种的 lncRNA 的蜕变。从下图 streamplot 上看，展望的物种之间蜕变的伪时间大致与真实的物种蜕变信息一致，说明 RNA-FM embedding 还包含一部分进化信息。值得注意的是，无论是 RNA 种类的群落信息还是 lncRNA 的蜕变信息，RNA-FM 在训练中都没有直接接触过这些的标签。RNA-FM 完全是以自监视的方式仅从纯序列中发掘出了与构造、性能以及蜕变相关的模式。
更多实验结果除了直接对 RNA-FM 的 embedding 举行分析，文章还尝试将 RNA-FM 引入到各种各样的上游 RNA 构造展望工作，包括二级构造、接触展望，距离展望，以及三级构造展望，且都取得了明显的提拔。尤其是在二级构造展望上，文章以 RNA-FM 作为主干，仅以一个简单的 ResNet 网络作为上游模型，就在两个公开数据集上超过了其他 12 种 state-of-the-art 方法，在 F1score 上优于其中最好的 UFold 达 3-5 百分点，在与 UFold 的 head-to-head 比较中，RNA-FM 在绝大部分的 RNA 类别上都超过 UFold。如果将 RNA-FM 和 E2Efold 结合，还可以进一步带来 5% 的表现提拔。
为了验证模型的实际应用价值，文章哄骗 RNA-FM 对 COVID-19 数据举行完善的分析，包括哄骗 RNA-FM 精准展望 COVID-19 参照基因组（29870 nt）中关键调控元件，以及哄骗 RNA-FM embedding 粗略展望 COVID-19 主要变种的蜕变趋势。 
一般而言，分子的构造决定性能，RNA-FM 既然可以出色地完成 RNA 构造展望工作，那么是否能够哄骗 RNA-FM 也提拔性能展望的结果呢？因此，文章进一步尝试将 RNA-FM 引入上游的 RNA 性能展望工作中，比如哄骗 RNA-FM 的 embedding 举行 RNA – 蛋白质作用的展望。实验证明，RNA-FM embedding 的引入提拔了模型的性能，且在一些例子中竟然达到了匹配真实二级构造信息作为输入的展望结果。
为了探究鉴于 ncRNA 训练的 RNA-FM 是否可以泛化到其他 RNA 上，文章最后尝试哄骗 RNA-FM 鉴于 mRNA 上的 5’UTR 举行蛋白表达的性能展望。虽然 mRNA 不属于 ncRNA，但是其上的 5‘UTR 是不翻译但具有调控性能的区域，符合 ncRNA 的特点，且未出现在训练数据中。从下图可以看到，包含 RNA-FM embedding 的模型总是优于不包含的模型。尽管性能上的提拔比较有限，但也部分说明 RNA-FM 在非 ncRNA 的数据上也具有一定的泛化性。
结论总的来说，该文章以无标签的 RNA 序列数据预训练语言模型 RNA-FM，并通过直接或间接的方式，在构造或性能等一系列不同的工作上举行全面的验证，证明了 RNA-FM 确实可以有效地提拔计算方法在上游工作中的表现。RNA-FM 的出现一定程度上缓解了 RNA 带标注数据紧张的现状，为其他钻研者提供了便捷的访问大批量的无标签数据的接口，其将以 RNA 范围基础模型的身份，为该范围的各种各样的钻研提供强有力的支援与帮助。作者简介本文有两个共同第一作者。陈佳阳，香港中文大学钻研助理。胡智航，香港中文大学在读博士生。本文有两位通讯作者。孙思琦，复旦大学智能复杂体系实验室和上海人工智能实验室青年钻研员，主页 https://intersun.github.io。李煜，香港中文大学助理教授，MIT James Collins Lab 访问助理教授，Broad Institute of MIT and Harvard 钻研科学家，哈佛大学 Wyss Institute 访问学者，Forbes 30 Under 30 Asia list–Class of 2022, Healthcare & Science。主页：https://liyu95.com。
原创文章，作者：机器之心，如若转载，请注明出处：https://www.iaiol.com/news/kai-yuan-gang-zhong-wen-mit-fu-dan-ti-chu-shou-ge-rna-ji/
