AI在线 AI在线

Nat.Commun.|山东大学团队基于图transformer开发了一种稀有细胞群组学分析方法

编辑 | 萝卜皮稀有细胞群是肿瘤进展和治疗反应的关键,提供了潜在的干预目标。然而,它们的计算识别和分析通常落后于主要细胞类型。为了填补这一空白,山东大学的研究团队引入了 MarsGT:使用单细胞图 transformer 进行稀有群体推断的多组学分析。它使用基于概率的异质图 transformer 对单细胞多组学数据识别稀有细胞群。MarsGT 在识别 550 个模拟数据集和 4 个真实人类数据集中的稀有细胞方面优于现有工具。该研究以「MarsGT: Multi-omics analysis for rare po

Nat.Commun.|山东大学团队基于图transformer开发了一种稀有细胞群组学分析方法

编辑 | 萝卜皮

稀有细胞群是肿瘤进展和治疗反应的关键,提供了潜在的干预目标。然而,它们的计算识别和分析通常落后于主要细胞类型。

为了填补这一空白,山东大学的研究团队引入了 MarsGT:使用单细胞图 transformer 进行稀有群体推断的多组学分析。

它使用基于概率的异质图 transformer 对单细胞多组学数据识别稀有细胞群。MarsGT 在识别 550 个模拟数据集和 4 个真实人类数据集中的稀有细胞方面优于现有工具。

该研究以「MarsGT: Multi-omics analysis for rare population inference using single-cell graph transformer」为题,于 2024 年 1 月 6 日发布在《Nature Communications》。

图片

多细胞生物包含多种特化细胞。识别这些细胞类型在免疫治疗和临床场景中至关重要,因为它阐明了免疫机制,有助于设计靶向治疗,并通过揭示每个患者独特的细胞构成来支持个性化医疗。然而,当遇到稀有或瞬时表达的细胞时,困难就会出现。尽管稀缺,但稀有细胞群在各种生物过程中发挥着至关重要的作用。精确掌握这些稀有细胞群,并进行详细的描述,将进一步加深人类对肿瘤微环境和引导免疫治疗反应的复杂机制的理解。

单细胞 RNA 测序 (scRNA-seq) 的出现极大地提高了科学家识别单个细胞类型的能力,提供高分辨率的分子图谱,阐明细胞多样性和特定细胞内基因表达的复杂动态。大多数现有的稀有细胞识别工具,例如 FIRE、GapClust、TooManyCells、GiniClust、RaceID 和 SCMER,都面临着一些挑战,例如推断稀有细胞群时的高假阳性、肿瘤活检单细胞数据等复杂样本的性能有限、无法同时识别主要和稀有细胞类型以及超稀有细胞类型(<1% 的样本)的准确性受到影响。

这些问题可能源于稀有细胞的有限代表性,当仅依赖基因表达数据时,这可能导致与更常见的细胞群的分组不准确。单细胞 ATAC 测序 (scATAC-seq) 等技术创新可以进一步加速这一追求。当与 scRNA-seq 协同使用时,这些方法提供了有关增强子区域的部分调控数据,这对于保留细胞类型身份至关重要。这些宝贵的信息可用于构建基因调控网络,从而揭示对稀有细胞群的性质和功能的重要见解。

在这里,山东大学的研究人员开发了 MarsGT(Multi-omics analysis for rare population inference using single-cell Graph Transformer),这是一种端到端深度学习模型,用于从 scMulti-omics 数据中识别稀有细胞群。

MarsGT 整合了 scRNA-seq 和 scATAC-seq 数据,同时产生初级和稀有细胞群及其各自的调控关系。根据初始 scRNA-seq 和 scATAC-seq 数据构建包含细胞、基因和增强子的异质图,细胞内基因和峰的存在表示为边。

图片

图示:MarsGT 架构。(来源:论文)

该团队认为,与仅在特定亚群中表达的基因相比,普遍表达的基因对于识别稀有细胞不太可能起关键作用。为了辨别稀有细胞,必须识别在目标细胞中高表达但在其他细胞中低表达或无表达的基因或峰。研究人员将此类基因和峰定义为稀有相关基因和峰。

根据表达/可及性的第一个四分位数,将细胞内的基因/峰分割成高或低选择区域。对于给定的细胞,基因/峰的选择概率由高选择区域中基因/峰表达/可达性的比例决定。在他们的多头注意力图 transformer 中,此类稀有相关基因和峰有更高的概率被采样到稀有细胞的关键特征。

多头注意力机制有助于更新采样子图上的细胞、基因和峰值的联合嵌入。细胞分配概率矩阵和峰基因链接分配概率矩阵是学习后联合嵌入预测的。同时确定并迭代更新子图中的峰值基因关系和稀有细胞群以进行模型训练。此外,为了确保与主要细胞相关的特征不被削弱,正则化项被纳入训练过程中。随后将经过充分训练的模型应用于整个异质图,并结合转录因子(TF)数据库来构建细胞簇增强子基因调控网络(eGRN)。

图片

图示:MarsGT 在稀有细胞群鉴定方面的基准测试。(来源:论文)

MarsGT作为一种基于概率的子图采样方法,可以在异质图中突出显示罕见的细胞相关基因和峰值。研究人员进行了广泛的模拟 (n = 550),以彻底测试 MarsGT 在识别稀有细胞群方面的准确性和稳健性。

MarsGT 的性能经过500个模拟数据和四个人外周血单核细胞数据集的验证,在 F1 评分和归一化互信息 (NMI) 指标方面超越了现有方法。

为了进一步展示MarsGT的应用能力,研究人员将MarsGT应用于三个scMulti-omics案例研究:

(1)在小鼠视网膜数据中,它揭示了罕见双极细胞和穆勒神经胶质细胞亚群的独特亚群。

图片

图示:MarsGT 有效地捕获了差异调节机制,并揭示了其他工具经常遗漏的具有生物学意义的稀有细胞群。(来源:论文)

(2)在人类淋巴结数据中,MarsGT 检测到可能充当淋巴瘤前体的中间 B 细胞群。

图片

图示:MarsGT 在 B 淋巴瘤数据中识别出处于中间过渡状态的稀有细胞。(来源:论文)

(3)在人类黑色素瘤数据中,它识别出受高 IFN-I 反应影响的罕见 MAIT 样群体,并揭示了免疫治疗的机制。

图片

图示:MarsGT 在多样本黑色素瘤 scRNA-seq 和 scATAC-seq 中识别出类似 MAIT 的稀有细胞群和 eGRN。(来源:论文)

结果表明,MarsGT 可以区分独特的稀有细胞群(这是其他计算工具无法实现的壮举),并为早期临床检测和免疫阻断剂的开发提供策略。

总之,MarsGT 代表了鉴定稀有细胞群以及阐明微环境和免疫治疗机制的工具。它通过发现与疾病相关的稀有细胞群并揭示可为免疫治疗策略提供信息的内在调节机制,为精准医学开辟了一条充满希望的轨迹。

论文链接:https://www.nature.com/articles/s41467-023-44570-8

相关资讯

直接扩展到无限长,谷歌Infini-Transformer终结上下文长度之争

不知 Gemini 1.5 Pro 是否用到了这项技术。谷歌又放大招了,发布下一代 Transformer 模型 Infini-Transformer。Infini-Transformer 引入了一种有效的方法,可以将基于 Transformer 的大型语言模型 (LLM) 扩展到无限长输入,而不增加内存和计算需求。使用该技术,研究者成功将一个 1B 的模型上下文长度提高到 100 万;应用到 8B 模型上,模型能处理 500K 的书籍摘要任务。自 2017 年开创性研究论文《Attention is All Yo
4/12/2024 7:43:00 PM
机器之心

机器人策略学习的Game Changer?伯克利提出Body Transformer

过去几年间,Transformer 架构已经取得了巨大的成功,同时其也衍生出了大量变体,比如擅长处理视觉任务的 Vision Transformer(ViT)。本文要介绍的 Body Transformer(BoT) 则是非常适合机器人策略学习的 Transformer 变体。我们知道,物理智能体在执行动作的校正和稳定时,往往会根据其感受到的外部刺激的位置给出空间上的响应。比如人类对这些刺激的响应回路位于脊髓神经回路层面,它们专门负责单个执行器的响应。起校正作用的局部执行是高效运动的主要因素,这对机器人来说也尤为重
8/19/2024 2:19:00 PM
机器之心

论文分享 | 丢弃卷积,纯Transformer构建GAN网络

最近,计算机视觉(CV)领域的研究者对 Transformer 产生了极大的兴趣并陆续取得了不少突破。比如,2020 年 5 月,Facebook AI 的研究者推出了 Transformer 的视觉版本——Detection Transformer,在性能上媲美当时的 SOTA 方法,但架构得到了极大简化;10 月,谷歌提出了 Vision Transformer (ViT),可以直接利用 transformer 对图像进行分类,而不需要卷积网络。
2/26/2021 2:27:00 PM
机器之心

华为诺亚调研200多篇文献,视觉Transformer综述入选TPAMI 2022

华为诺亚方舟实验室联合北大和悉大整理了业界第一篇视觉Transformer综述。
2/23/2022 2:55:00 PM
机器之心

39亿参数模型公开可用,采样速度7倍提升,残差量化生成图片入选CVPR'22

基于残差量化的自回归图像生成,官方已将代码公开。
3/27/2022 12:42:00 PM
机器之心

Creator 面对面 | 大模型的最后一公里路“不太平”

自 2018 年谷歌推出 BERT 以来,语言模型就开始朝着「大模型」的方向演进。21 年诸如华为联合鹏城实验室 2000 亿参数的盘古、谷歌 1.6 万亿参数的 Switch Transfomer、智源研究院 1.75 万亿参数的的悟道 2.0 等相继产出。
7/19/2022 3:44:00 PM
SOTA模型

解锁CNN和Transformer正确结合方法,字节跳动提出有效的下一代视觉Transformer

来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer,即 Next-ViT。Next-ViT 能像 CNN 一样快速推断,并有 ViT 一样强大的性能。
7/22/2022 5:26:00 PM
机器之心

ICASSP 2022 | 用于多模态情感识别的KS-Transformer

多模态情感识别是人机交互中的重要技术,也是人工智能走向类人智能时所需要攻克的关键难题。
12/20/2022 3:34:00 PM
优必选科技

想把半本《红楼梦》搬进ChatGPT输入框?先把这个问题解决掉

从 GPT-4 的 32k 到谷歌 CoLT5 的 64k 再到最新研究的 200万 token,类ChatGPT 模型们可以处理的文本长度正在急剧增加,这意味着它们的应用范围也越来越广。或许有一天,ChatGPT 能帮乔治·马丁把《冰与火之歌》(权力的游戏)写完呢?过去两年,斯坦福大学 Hazy Research 实验室一直在从事一项重要的工作:增加序列长度。 他们有一种观点:更长的序列将开启机器学习基础模型的新时代 —— 模型可以从更长的上下文、多种媒体源、复杂的演示等中学习。目前,这项研究已经取得了新进展。H
4/27/2023 3:11:00 PM
机器之心

基于Transformer的大模型是如何运行的?Meta从全局和上下文学习揭秘

本文旨在更好地理解基于 Transformer 的大型语言模型(LLM)的内部机制,以提高它们的可靠性和可解释性。
6/22/2023 1:25:00 PM
机器之心

能胜任统计学家?Transformers超强学习机制「自动算法选择」

Salesforce AI Research、北京大学和 UC 伯克利合作的最新论文,发现 Transformer 模型在上下文中学习(in-context learning)的新机制:「自动算法选择」,类似统计与机器学习专家能够现实完成的工作。
7/18/2023 3:01:00 PM
机器之心

岩芯数智推出非Attention机制大模型,支持离线端侧部署

1月24日,上海岩芯数智人工智能科技有限公司对外推出了一个非Attention机制的通用自然语言大模型——Yan模型。岩芯数智发布会上称,Yan模型使用了全新自研的“Yan架构”代替Transformer架构,相较于Transformer,Yan架构的记忆能力提升3倍、速度提升7倍的同时,实现推理吞吐量的5倍提升。岩芯数智CEO刘凡平认为,以大规模著称的Transformer,在实际应用中的高算力和高成本,让不少中小型企业望而却步。其内部架构的复杂性,让决策过程难以解释;长序列处理困难和无法控制的幻觉问题也限制了大
1/25/2024 9:27:00 PM
机器之心

李飞飞主讲,斯坦福2024 CS231n开课,依旧座无虚席

「这是自 Karpathy 和我 2015 年启动这门课程以来的第 9 个年头,这是人工智能和计算机视觉令人难以置信的十年!」知名 AI 科学家李飞飞的计算机视觉「神课」CS231n,又一次开课了。总共 600 多位学生报名,第一堂课的现场座无虚席:从 2015 年到如今,CS231n 已经走到九个年头,也成为了一代计算机视觉专业学生心中的「必修课」:虽然课程代码不变,但可以猜到,2024 年的课程相比 2021 年版本的课程有不少新增内容,这还要归因于视觉生成技术三年来的巨大飞跃。在今年初的国际消费类电子产品展览
4/7/2024 12:02:00 AM
机器之心

OpenAI 公关跳起来捂他嘴:Transformer 作者公开承认参与 Q*!

Transformer 作者中唯一去了 OpenAI 的那位,公开承认了:他参与了 Q * 项目,是这项新技术的发明者之一。这几天除了英伟达老黄组局把 Transformer 作者聚齐,他们中的几位还接受了连线杂志的采访,期间出了这么一个小插曲。当记者试图询问 Lukasz Kaiser 更多关于 Q * 的问题时时,OpenAI 的公关人员几乎跳过桌子去捂他的嘴。结合阿尔特曼在接受采访时,毫不迟疑地拒绝了相关提问,“我们还没准备好谈论这个话题”。神秘 Q*,成了 OpenAI 当前最需要保守的秘密之一。不过对于
3/25/2024 6:38:43 PM
清源

研究人员推出 xLSTM 神经网络 AI 架构:并行化处理 Token、有望迎战 Transformer

研究人员 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年共同提出了长短期记忆(Long short-term memory,LSTM)神经网络结构,可用来解决循环神经网络(RNN)长期记忆能力不足的问题。而最近 Sepp Hochreiter 在 arXiv 上发布论文,提出了一种名为 xLSTM(Extended LSTM)的新架构,号称可以解决 LSTM 长期以来“只能按照时序处理信息”的“最大痛点”,从而“迎战”目前广受欢迎的 Transformer 架构。IT之家
5/13/2024 8:59:57 AM
漾仔

全球首款 Transformer 专用 AI 芯片 Sohu 登场:每秒可处理 50 万个 tokens,比英伟达 H100 快 20 倍

Etched 公司宣布完成 1.2 亿美元(IT之家备注:当前约 8.73 亿元人民币) A 轮融资,将用于开发和销售全球首款 Transformer 专用集成电路(ASIC)芯片 Sohu。IT之家查询公开资料,Etched 公司由两名哈佛大学辍学生加文・乌伯蒂(Gavin Uberti)和克里斯・朱(Chris Zhu)创立,成立时间不到 2 年。Sohu 芯片最大的亮点在于直接把 Transformer 架构蚀刻到芯片中,乌伯蒂称 Sohu 采用台积电的 4 纳米工艺制造,推理性能大大优于 GPU 和其他通用
6/26/2024 11:31:40 AM
故渊

DeepMind指出「Transformer无法超出预训练数据实现泛化」,但有人投来质疑

难道 Transformer 注定无法解决「训练数据」之外的新问题?说起大语言模型所展示的令人印象深刻的能力,其中之一就是通过提供上下文中的样本,要求模型根据最终提供的输入生成一个响应,从而实现少样本学习的能力。这一点依靠的是底层机器学习技术「Transformer 模型」,并且它们也能在语言以外的领域执行上下文学习任务。以往的经验表明,对于在预训练混合体中得到充分体现的任务族或函数类,选择适当函数类进行上下文学习的成本几乎为零。因此有研究者认为,Transformer 能很好地泛化与训练数据相同分布的任务 / 函
11/7/2023 3:00:00 PM
机器之心

简化版Transformer来了,网友:年度论文

从大模型的根源开始优化。Transformer 架构可以说是近期深度学习领域许多成功案例背后的主力军。构建深度 Transformer 架构的一种简单方法是将多个相同的 Transformer 「块」(block)依次堆叠起来,但每个「块」都比较复杂,由许多不同的组件组成,需要以特定的排列组合才能实现良好的性能。自从 2017 年 Transformer 架构诞生以来,研究者们基于其推出了大量衍生研究,但几乎没有改动过 Transformer 「块」。那么问题来了,标准 Transformer 块是否可以简化?在最
11/28/2023 3:08:00 PM
机器之心
  • 1