AI在线 AI在线

Titans

AI记忆革命:能否突破数据牢笼,媲美人脑的适应性?​

译者 | 朱先忠审校 | 重楼本文要讨论什么内容? Meta公司努力开发出的CoCoMix(Continuous Concept Mixing:连续概念混合,出自Jihoon等人2025年发表的论文,见【引文1】)框架实现了概念学习,即学习单词背后的概念而不是仅仅预测下一个标记,从而使其具有极强的可操控性和可解释性。 但是,依然存在一个核心问题:即使是概念上非常出色的模型,在训练之后的实际部署中,也可能难以应对细微差别或事实性的回忆挑战。
6/18/2025 8:26:01 AM
朱先忠

胜过Transformer?谷歌推出新型AI模型架构Titans

自2017年推出以来,Transformer模型架构一直是人工智能的基础要素,推动了自然语言处理、机器翻译等领域的进步。 不过,该模型在可扩展性、计算效率以及应对日益复杂任务等方面,仍面临着诸多挑战。 而Titans模型架构的诞生,旨在通过整合受人类认知过程启发的机制来克服这些障碍,如记忆优先级和适应性注意力。
1/26/2025 1:20:49 PM
Yu

谷歌公布 Titans 系列 AI 模型架构:融合长短期记忆与注意力机制、突破 200 万上下文 Token

谷歌研究院发文,公布了“Titans”系列模型架构,相应模型架构最大的特点是采用“仿生设计”,结合了短期记忆、长期记忆和注意力机制,支持超过 200 万个 Token 的上下文长度,谷歌计划将 Titans 相关技术开源。
1/20/2025 8:00:42 PM
漾仔

近8年后,谷歌Transformer继任者「Titans」来了,上下文记忆瓶颈被打破

正如论文一作所说,「新架构 Titans 既比 Transformer 和现代线性 RNN 更有效,也比 GPT-4 等超大型模型性能更强。 」终于,在 2017 年推出影响 AI 行业长达 8 年的 Transformer 架构之后,谷歌带来了全新的架构 Titans。 这次,谷歌的重点是将推理领域非常重要的测试时(test-time)计算用在了记忆(memory)层面。
1/15/2025 5:23:00 PM
机器之心
  • 1