AI在线 AI在线

Transformer

最具争议性研究：大模型中间层输出可 100% 反推原始输入

最具争议性研究：大模型中间层输出可 100% 反推原始输入
最近，一篇名为《Language Models are Injective and Hence Invertible》的论文在学术界和科技圈引起了广泛讨论，甚至连老马的 Grok 官方也下场转发。 这篇论文出自意大利罗马第一大学（Sapienza University of Rome）的 GLADIA Research Lab，文中提出了一个颇有争议却又耐人寻味的观点：主流的 Transformer 语言模型在信息处理过程中几乎不会丢失任何输入内容，从数学意义上看，它们是可逆的。 换句话说，模型的隐藏状态并不是模糊的语义压缩，而是一种能够完整保留输入信息的精确重编码。
10/31/2025 3:27:00 PM
郑佳美
「我受够了Transformer」：其作者Llion Jones称AI领域已僵化，正错失下一个突破

「我受够了Transformer」：其作者Llion Jones称AI领域已僵化，正错失下一个突破
这两天，VentureBeat 一篇报道在 Hacker News 上引发热议。 颠覆性论文《Attention is all you need》的作者之一，现任 Sakana AI CTO 的 Llion Jones 在近日的 TED AI 大会上表示他已经厌倦了 Transformer。 是什么，让这位 Transformer 的创造者发出了如此言论？
10/25/2025 10:51:00 PM
机器之心
苹果AI选Mamba：Agent任务比Transformer更好

苹果AI选Mamba：Agent任务比Transformer更好
闻乐 发自 凹非寺. 量子位 | 公众号 QbitAI都说苹果AI慢半拍，没想到新研究直接在Transformer头上动土。 「Mamba 工具」，在Agent场景更能打！
10/21/2025 2:01:35 PM
闻乐
不靠英伟达，中科院在国产 GPU 上跑通 76B 类脑大模型

不靠英伟达，中科院在国产 GPU 上跑通 76B 类脑大模型
过去几年，大模型几乎都依赖 Transformer，它支撑了 GPT、Claude、Gemini 等一众前沿模型的进步，但也一直被诟病：一旦文本变长，计算量和内存消耗就会成倍膨胀，百万级 token 几乎不可承受。 与此同时，大模型训练几乎完全依赖 NVIDIA 的 GPU 体系。 从算力到软件栈，整个行业被牢牢绑定在 CUDA 上，硬件自主化成了迟迟迈不过去的门槛。
9/24/2025 4:24:00 PM
郑佳美
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍

Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
超越Transformer，谷歌推出全新底层架构——. Mixture-of-Recursions（MoR），注意不是MoE，它能推理速度提高2倍，而KV内存直接减半！ 而且All in One，首次在单一框架中实现，用同一组参数处理不同任务的同时，进行动态分配计算资源。
7/17/2025 5:25:55 PM
鹭羽
Mamba一作预告新架构！长文论述Transformer≠最终解法

Mamba一作预告新架构！长文论述Transformer≠最终解法
Mamba一作最新大发长文！ 主题只有一个，即探讨两种主流序列模型——状态空间模型（SSMs）和Transformer模型的权衡之术。 简单介绍下，Mamba就是一种典型的SSMs，它建立在更现代的适用于深度学习的结构化SSM基础上，与经典架构RNN有相似之处。
7/9/2025 1:14:41 PM
一水
基于能量的Transformer横空出世！全面超越主流模型35%

基于能量的Transformer横空出世！全面超越主流模型35%
时令 发自 凹非寺. 量子位 | 公众号 QbitAI. AI无需监督就能学习思考？
7/8/2025 5:04:13 PM
时令
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限

Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型（如 Mamba）和线性注意力机制都具备这样一个显著优势：它们能够处理极长的序列，这一能力对长上下文推理任务至关重要。 事实上，这正是它们相较于 Transformer 的关键优势 —— 后者受限于有限的上下文窗口，且在序列长度上的计算复杂度是二次的，成为性能瓶颈。  过去，循环模型面临的主要问题是性能不足：在处理短序列时，它们的表现往往不如 Transformer。
7/8/2025 1:07:00 PM
机器之心
Meta新注意力机制突破Transformer上限，还用上了OpenAI的开源技术

Meta新注意力机制突破Transformer上限，还用上了OpenAI的开源技术
Meta挖走OpenAI大批员工后，又用OpenAI的技术搞出新突破。 这是什么杀人又诛心（doge）？ 新架构名为2-Simplicial Transformer，重点是通过修改标准注意力，让Transformer能更高效地利用训练数据，以突破当前大模型发展的数据瓶颈。
7/7/2025 4:41:07 PM
鱼羊
​腾讯混元 TurboS 技术报告全面揭秘，560B参数混合Mamba架构

​腾讯混元 TurboS 技术报告全面揭秘，560B参数混合Mamba架构
腾讯发布了混元 TurboS 技术报告，揭示了其旗舰大语言模型 TurboS 的核心创新与强大能力。 根据全球权威大模型评测平台 Chatbot Arena 的最新排名，混元 TurboS 在239个参赛模型中位列第七，成为国内仅次于 Deepseek 的顶尖模型，并在国际上仅落后于谷歌、OpenAI 及 xAI 等几家机构。 混元 TurboS 模型的架构采用了创新的 Hybrid Transformer-Mamba 结构，这种新颖的设计结合了 Mamba 架构在处理长序列上的高效性与 Transformer 架构在上下文理解上的优势，从而实现了性能与效率的平衡。
5/22/2025 5:00:55 PM
AI在线
字节Seed 团队推出 PHD-Transformer，成功扩展预训练长度，解决 KV 缓存问题！

字节Seed 团队推出 PHD-Transformer，成功扩展预训练长度，解决 KV 缓存问题！
近日，字节跳动的 Seed 团队在人工智能领域再传佳音，推出了一种新型的 PHD-Transformer（Parallel Hidden Decoding Transformer），这项创新突破了预训练长度的限制，有效解决了推理过程中的 KV 缓存膨胀问题。 随着大型推理模型的迅速发展，研究人员在后训练阶段尝试通过强化学习方法来生成更长的推理链，并在复杂的推理任务上取得了显著成果。 受到启发，字节 Seed 团队决定探索在预训练阶段进行长度扩展的可能性。
4/28/2025 5:00:40 PM
AI在线
姚班学霸、OpenAI姚顺雨：AI发展已从模型创新到产品思维

姚班学霸、OpenAI姚顺雨：AI发展已从模型创新到产品思维
随着人工智能（AI）技术的不断成熟，业内专家提出，AI 发展的重心正在发生显著转变。 从早期的模型训练和算法创新，转向更加关注任务定义与评估优化。 这一观点由 OpenAI 的研究员姚顺雨提出，他强调，在 AI 的下半场，产品思维将成为推动技术应用和商业化的关键。
4/17/2025 6:01:15 PM
AI在线
算法不重要，AI的下一个范式突破，「解锁」新数据源才是关键

算法不重要，AI的下一个范式突破，「解锁」新数据源才是关键
众所周知，人工智能在过去十五年里取得了令人难以置信的进步，尤其是在最近五年。 回顾一下人工智能的「四大发明」吧：深度神经网络→Transformer 语言模型→RLHF→推理，基本概括了 AI 领域发生的一切。 我们有了深度神经网络（主要是图像识别系统），然后是文本分类器，然后是聊天机器人，现在我们又有了推理模型。
4/12/2025 3:57:00 PM
机器之心
挑战传统：无归一化层的 Transformer 架构新突破

挑战传统：无归一化层的 Transformer 架构新突破
在深度学习领域，归一化层被视为现代神经网络中不可或缺的组件之一。 最近，一项由 Meta FAIR 研究科学家刘壮主导的研究成果 ——“没有归一化层的 Transformer” 引发了广泛关注。 这项研究不仅提出了一种名为动态 tanh（Dynamic Tanh，DyT）的新技术，还展示了在不使用传统归一化层的情况下，Transformer 架构依然可以实现高效的训练和推理。
3/14/2025 4:06:00 PM
AI在线
Sesame发布CSM模型：实时情感定制 AI语音合成迈向新高度

Sesame发布CSM模型：实时情感定制 AI语音合成迈向新高度
3月13日，Sesame公司推出其最新语音合成模型CSM，引发业界关注。 据官方介绍，CSM采用端到端基于Transformer的多模态学习架构，能够理解上下文信息，生成自然且富有情感的语音，声音效果贴近真人，令人惊艳。 该模型支持实时语音生成，可处理文本和音频输入，用户还能通过调整参数控制语气、语调、节奏及情感等特性，展现高度灵活性。
3/14/2025 10:53:00 AM
AI在线
无需训练！Q-Filters 实现 KV 缓存高效压缩，提升推理性能

无需训练！Q-Filters 实现 KV 缓存高效压缩，提升推理性能
近年来，基于 Transformer 架构的大型语言模型（LLMs）取得了显著进展，诸如 Gemini-Pro1.5、Claude-3、GPT-4和 Llama-3.1等新模型能够处理成百上千的token。 然而，这些扩展的上下文长度带来了实际应用中的一些重大挑战。 随着序列长度的增加，解码延迟上升，内存限制也成为了一个严重的瓶颈。
3/12/2025 11:03:15 AM
AI在线
基于药效团与GPT从头生成分子，北大开发TransPharmer助力药物发现

基于药效团与GPT从头生成分子，北大开发TransPharmer助力药物发现
编辑 | 萝卜皮深度生成模型推动了药物发现，但生成的化合物通常结构新颖性有限，限制了药物化学家的灵感。 为了解决这个问题，北京大学的研究人员开发了 TransPharmer，这是一种生成模型，它将基于配体的可解释药效团指纹与基于生成预训练 Transformer（GPT）的框架相结合，用于从头生成分子。 TransPharmer 在无条件分布学习、从头生成和药效团约束下的骨架构建方面表现出色。
3/11/2025 12:16:00 PM
ScienceAI
MIT三人团队：用Transformer解决经验贝叶斯问题，比经典方法快100倍

MIT三人团队：用Transformer解决经验贝叶斯问题，比经典方法快100倍
Transformer 很成功，更一般而言，我们甚至可以将（仅编码器）Transformer 视为学习可交换数据的通用引擎。 由于大多数经典的统计学任务都是基于独立同分布（iid）采用假设构建的，因此很自然可以尝试将 Transformer 用于它们。 针对经典统计问题训练 Transformer 的好处有两个：可以得到更好的估计器；可以在一个有比 NLP 更加容易和更好理解的统计结构的领域中阐释 Transformer 的工作机制。
2/28/2025 6:13:00 PM
机器之心