开源!港中文、MIT、复旦提出首个RNA基石模型

本文中 RNA-FM 模型的出现一定程度上缓解了 RNA 带标注数据紧张的现状,为其他钻研者提供了访问大批量无标签数据的便捷接口。并且,该模型将以 RNA 范围基础模型的身份,为该范围的各种各样的钻研提供强有力的支援与帮助。

不同于蛋白质范围,RNA 范围的钻研往往缺少充足的标注数据,比如 3D 数据只有 1000 多个 RNA。这极大限制了机器学习方法在 RNA 构造性能展望工作中的开发。为了弥补标注数据的不足,本文展示了一项可为 RNA 各类钻研提供丰富构造性能知识的基石模型 ——RNA foundation model (RNA-FM)。作为全球首个鉴于 23 million 的无标签 RNA 序列通过无监视方式训练得到的 RNA 基石模型,RNA-FM 挖掘出了 RNA 序列中蕴含的进化和构造模式。值得注意的是,RNA-FM 仅需要配比简单的上游模型,或是仅提供 embedding,就能够在很多上游工作中获得远超 SOTA 的表现,比如在二级构造展望中可以提拔 20%,距离图展望可以提拔 30%。大规模的实验证明,该模型具有极强的泛化性,甚至可以用于 COVID-19 以及 mRNA 的调控片段。 

图片

论文预印本:https://arxiv.org/abs/2204.00300代码和模型:https://github.com/ml4bio/RNA-FMServer: https://proj.cse.cuhk.edu.hk/rnafm引言近年来,鉴于深度学习的生物计算方法在蛋白质范围取得了突破性的进展,其中最著名的里程碑当属谷歌 DeepMind 团队研发的端到端蛋白质 3D 构造展望框架 AlphaFold2。然而蛋白质只是诸多生物分子的一种,基因(DNA/RNA)作为蛋白质的产生源头,其相比于后者蕴含了更多的基础信息,有着更重要的钻研价值。一般而言,蛋白质是由用于编码(coding)的 RNA,也就是 mRNA,翻译得到的产物,一段固定的 mRNA 可以翻译为一段固定的蛋白质序列。而实际上这部分用于编码的 RNA 只占所有 RNA 序列的 2%,剩下的 98% 是非编码 RNA(non-coding RNA,ncRNA)。虽然 ncRNA 并不直接 “翻译” 成蛋白质,但是他们会折叠成具有特定性能的三级构造,在 mRNA 的翻译过程中或是其他生物机能中起到调控的作用。因此,分析 ncRNA 的构造以及性能是比蛋白质分析更为基础,也更为复杂的钻研。不过相比于计算方法较为成熟的蛋白质范围,目前鉴于 RNA 的构造和性能展望还处于初期,而原本适用于蛋白范围的计算方法也很难直接迁移到 RNA 范围。限制这些计算方法的主要是 RNA 数据的标注通常获取很难,需要耗费很多的实验资源和时间才能完成少量数据的标注,而计算方法大多又需要大量的标注数据举行监视才能发挥高性能。虽然有标注的数据不多,但 RNA 范围其实也积累了很多的无标注序列数据。本文的方法便是哄骗这些无标签的数据为各种上游工作提供额外的有效信息。鉴于这种考虑,港中文、MIT、复旦及上海人工智能实验室团队提出了一个以无监视方式在 23million 的无标签纯 RNA 序列上训练的基石模型RNA foundation model (RNA-FM)。虽然数据在训练过程中没有提供标注信息,但是 RNA-FM 仍以无监视的方式挖掘出了这些 RNA 序列蕴含着的进化和构造模式。如果能够有效地将 RNA-FM 应用于上游的 RNA 构造和性能展望工作中,这些计算方法必将受益于 RNA-FM 归纳得到的知识,进而实现性能表现上的提拔。RNA-FM 的上游预训练以及上游的迁移和应用框架如下图所示。

图片

 钻研概览为了确认预训练的 RNA-FM 是否从大量的无标签数据中学到了 “知识” 以及学到了怎样的 “知识”,文章对 embedding 举行了一系列的分析首先是直接通过 UMAP 对各种特征举行简单聚类比较,发现来自预训练 RNA-FM 的 embedding 比其他 embedding 形成了具有更加明显的 RNA 种类聚落。这意味着 RNA-FM 的 embedding 确实包含了用于区分 RNA 种类的构造或性能信息。接着,文章还哄骗轨迹推断(Trajectory inference)通过 RNA-FM embedding 去展望来自不同物种的 lncRNA 的蜕变。从下图 streamplot 上看,展望的物种之间蜕变的伪时间大致与真实的物种蜕变信息一致,说明 RNA-FM embedding 还包含一部分进化信息。值得注意的是,无论是 RNA 种类的群落信息还是 lncRNA 的蜕变信息,RNA-FM 在训练中都没有直接接触过这些的标签。RNA-FM 完全是以自监视的方式仅从纯序列中发掘出了与构造、性能以及蜕变相关的模式。 

图片

更多实验结果除了直接对 RNA-FM 的 embedding 举行分析,文章还尝试将 RNA-FM 引入到各种各样的上游 RNA 构造展望工作,包括二级构造、接触展望,距离展望,以及三级构造展望,且都取得了明显的提拔。尤其是在二级构造展望上,文章以 RNA-FM 作为主干,仅以一个简单的 ResNet 网络作为上游模型,就在两个公开数据集上超过了其他 12 种 state-of-the-art 方法,在 F1score 上优于其中最好的 UFold 达 3-5 百分点,在与 UFold 的 head-to-head 比较中,RNA-FM 在绝大部分的 RNA 类别上都超过 UFold。如果将 RNA-FM 和 E2Efold 结合,还可以进一步带来 5% 的表现提拔。

图片

  为了验证模型的实际应用价值,文章哄骗 RNA-FM 对 COVID-19 数据举行完善的分析,包括哄骗 RNA-FM 精准展望 COVID-19 参照基因组(29870 nt)中关键调控元件,以及哄骗 RNA-FM embedding 粗略展望 COVID-19 主要变种的蜕变趋势。 图片一般而言,分子的构造决定性能,RNA-FM 既然可以出色地完成 RNA 构造展望工作,那么是否能够哄骗 RNA-FM 也提拔性能展望的结果呢?因此,文章进一步尝试将 RNA-FM 引入上游的 RNA 性能展望工作中,比如哄骗 RNA-FM 的 embedding 举行 RNA – 蛋白质作用的展望。实验证明,RNA-FM embedding 的引入提拔了模型的性能,且在一些例子中竟然达到了匹配真实二级构造信息作为输入的展望结果。 

图片

为了探究鉴于 ncRNA 训练的 RNA-FM 是否可以泛化到其他 RNA 上,文章最后尝试哄骗 RNA-FM 鉴于 mRNA 上的 5’UTR 举行蛋白表达的性能展望。虽然 mRNA 不属于 ncRNA,但是其上的 5‘UTR 是不翻译但具有调控性能的区域,符合 ncRNA 的特点,且未出现在训练数据中。从下图可以看到,包含 RNA-FM embedding 的模型总是优于不包含的模型。尽管性能上的提拔比较有限,但也部分说明 RNA-FM 在非 ncRNA 的数据上也具有一定的泛化性。

图片

 结论总的来说,该文章以无标签的 RNA 序列数据预训练语言模型 RNA-FM,并通过直接或间接的方式,在构造或性能等一系列不同的工作上举行全面的验证,证明了 RNA-FM 确实可以有效地提拔计算方法在上游工作中的表现。RNA-FM 的出现一定程度上缓解了 RNA 带标注数据紧张的现状,为其他钻研者提供了便捷的访问大批量的无标签数据的接口,其将以 RNA 范围基础模型的身份,为该范围的各种各样的钻研提供强有力的支援与帮助。作者简介本文有两个共同第一作者。陈佳阳,香港中文大学钻研助理。胡智航,香港中文大学在读博士生。本文有两位通讯作者。孙思琦,复旦大学智能复杂体系实验室和上海人工智能实验室青年钻研员,主页 https://intersun.github.io。李煜,香港中文大学助理教授,MIT James Collins Lab 访问助理教授,Broad Institute of MIT and Harvard 钻研科学家,哈佛大学 Wyss Institute 访问学者,Forbes 30 Under 30 Asia list–Class of 2022, Healthcare & Science。主页:https://liyu95.com。

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/kai-yuan-gang-zhong-wen-mit-fu-dan-ti-chu-shou-ge-rna-ji/

(0)
上一篇 2022年 7月 16日 下午12:02
下一篇 2022年 7月 18日 下午3:45

相关推荐

  • 2022级起,MIT规复复活入学SAT、ACT成绩央求

    「标准化测验最有助于帮助识别社会经济弱势先生。」

    2022年 3月 29日
  • 全球首个联邦进修工业级开源框架FATE更新!五大模块迎来巨幅优化

    FATE(Federated AI Technology Enabler)是微众银行AI团队研发的全球首个联邦进修工业级开源框架,旨在提供安全的算计框架来支撑联邦 AI 生态。FATE 实现了基于同态加密和多方算计(MPC)的安全算计协议,它支撑联邦进修架构和多种机器进修算法的联邦进修实现,包括逻辑回归、基于树的算法、深度进修和迁移进修等等。3月31日,FATE推出 v1.6版本更新。在1.6版本中,优化了功能效率及稳定性,在使用体验方面,根据社区的反馈也有多方面的优化,将带来更流畅的使用体验。此外,新版本对其他F

    2021年 3月 31日
  • 量子力学与机械进修相结合,展望低温下的化学反应

    编辑/凯霞在低温下从氧化物中提炼金属不仅对于钢铁等金属的生产至关重要,而且对回收利用也必不可少。但当前的提炼过程是碳密集型的,会排放大量温室气体。钻研人员一直在探索开发「更绿色」的工艺法子。第一性道理理论的自下而上的计较过程设想,将是一个有吸引力的替代方案,但迄今为止尚未实现。来自哥伦比亚大学的钻研团队开发了一种新的计较技术,将量子力学和机械进修相结合,可准确展望金属氧化物对其「贱金属」的复原温度。该法子在计较上与常规计较一样有效,并且在测试中,比利用量子化学法子对温度效应的计较要求高的模拟更准确。该钻研以「Aug

    2021年 12月 13日
  • 清华来了第二位菲尔兹奖得主,是丘成桐力荐的老朋友Caucher Birkar

    丘成桐的老朋友 Caucher Birkar 即将到任,清华来了第二位菲尔茨奖得主。

    2021年 6月 17日
  • Nature子刊:科学家在类脑芯片上实现类似LSTM的功能,能效高1000倍

    格拉茨技术大学的计算机科学家在 Nature 子刊上发表的一篇论文表明,他们找到了一种在神经形状芯片上放荡 LSTM 的方案,可以让类脑神经形状芯片上的 AI 算法能效提高约 1000 倍。随着智能手机的普及,手机游戏也越来越受欢迎。但视频游戏等程序会大量耗电耗能。与 GPU 等标准硬件相比,基于 spike 的神经形状芯片有望实现更节能的深度神经收集(DNN)。但这需要我们理解如何在基于 event 的稀疏触发机制(sparse firing regime)中放荡 DNN,否则神经形状芯片的节能优势就会丧失。比如

    2022年 5月 21日
  • 我用YOLOv5做情绪识别!

    AI技术已经应用到了我们生活中的方方面面,而目标检测是其中应用最广泛的算法之一。本文将教大家如何快速上手目标检测模型YOLOv5,并将其应用到情绪识别中。

    2022年 3月 30日
  • 如何防止我的模型过拟合?这篇文章给出了6大必备法子

    正如巴菲特所言:「近似的正确好过精确的错误。」

    2021年 1月 20日
  • CVPR 2021 | 不需要标注了?看自监视进修框架如何助力主动驾驭

    来自主动驾驭公司轻舟智航和约翰霍普金斯大学的学者提出了一个自监视进修框架,可从未标注的激光雷达点云和配对的相机图象中从事点云疏通估量,与现有的监视办法相比,该办法具有良好的性能,当进一步从事监视微调时,模型优于 SOTA 办法。

    2021年 5月 17日
  • WAIC 2021 | SynSense时识科技首席科学家 Giacomo Indiveri:低功耗人工智能盘算体系中的类脑策略

    在 WAIC 2021 AI 开发者论坛上,苏黎世大学与苏黎世联邦理工学院终身教授、苏黎世神经信息研究所 INI 所长、SynSense 时识科技联合创始人 & 首席科学家 Giacomo Indiveri 带来主题为《低功耗人工智能盘算体系中的类脑策略》的线上主旨演讲。以下为 Giacomo Indiveri 在 WAIC 2021 AI 开发者论坛上的演讲内容,机器之心举行了不改变原意的编辑、整理:大家好,我是 Giacomo Indiveri,来自苏黎世大学及苏黎世联邦理工神经信息研究所,很高兴有机会

    2021年 7月 22日
  • 离群?非常十分?新类?开集?散布外检测?一文搞懂其间异同!

    你是否也曾迷惑于「离群检测,非常十分检测,新类检测,开集鉴别,散布外检测」之间错综复杂的关系?你是否也想要解决开放世界的问题却不知道从哪个任意入手?不知道利用什么方法解决问题?这篇最新综述将让你对开放世界畛域有全新的认识!

    2021年 10月 24日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注