AI在线 AI在线

Transformer

Falcon Mamba 7B 开源模型登顶：换掉 Transformer，任意长序列都能处理

Falcon Mamba 7B 开源模型登顶：换掉 Transformer，任意长序列都能处理
只是换掉 Transformer 架构，立马性能全方位提升，问鼎同规模开源模型！（注意力机制不存在了）这就是最新 Falcon Mamba 7B 模型。它采用 Mamba 状态空间语言模型架构来处理各种文本生成任务。通过取消传统注意力机制，有效提升了模型处理长序列时计算效率低下的问题。它可以处理无限长序列，但内存需求不增加。无论上下文多长，生成每个 token 的时间基本一样。由此，Falcon Mamba 模型性能全方位提升，打败一众 Transformer 架构模型，如 Llama-3.1（8B）、Mistra
8/13/2024 1:29:03 PM
汪淼
混合专家更有主见了，能感知多模态分情况行事，Meta提出模态感知型专家混合

混合专家更有主见了，能感知多模态分情况行事，Meta提出模态感知型专家混合
混合专家，也得术业有专攻。对于目前的混合模态基础模型，常用的架构设计是融合特定模态的编码器或解码器，但这种方法存在局限：无法整合不同模态的信息，也难以输出包含多种模态的内容。为了克服这一局限，Meta FAIR 的 Chameleon 团队在近期的论文《Chameleon: Mixed-modal early-fusion foundation models》中提出了一种新的单一 Transformer 架构，它可以根据下一个 token 的预测目标，对由离散图像和文本 token 组成的混合模态序列进行建模，从而
8/11/2024 10:55:00 AM
机器之心
八问八答搞懂Transformer内部运作原理

八问八答搞懂Transformer内部运作原理
七年前，论文《Attention is all you need》提出了 transformer 架构，颠覆了整个深度学习领域。如今，各家大模型都以 transformer 架构为基础，但 transformer 内部运作原理，仍是一个未解之谜。去年，transformer 论文作者之一 Llion Jones 宣布创立人工智能公司 Sakana AI。近期，Sakana AI 发表了一篇题为《Transformer Layers as Painters》的论文，探究了预训练 transformer 中的信息流，并
8/7/2024 2:23:00 PM
机器之心
小技巧大功效，「仅阅读两次提示」让循环语言模型超越Transformer++

小技巧大功效，「仅阅读两次提示」让循环语言模型超越Transformer++
在当前 AI 领域，大语言模型采用的主流架构是 Transformer。不过，随着 RWKV、Mamba 等架构的陆续问世，出现了一个很明显的趋势：在语言建模困惑度方面与 Transformer 较量的循环大语言模型正在快速进入人们的视线。令人兴奋的是，这些架构在推理期间使用了恒定量的内存。不过，受制于有限的内存，循环语言模型（LM）无法记忆并使用长上下文中的所有信息，这导致了上下文学习（in-context learning，ICL）质量的不佳。因此，获得高效大语言模型的关键挑战在于选择存储或者丢弃哪些信息。在最
8/4/2024 1:21:00 PM
机器之心
大脑如何处理语言？普林斯顿团队对Transformer模型进行分析

大脑如何处理语言？普林斯顿团队对Transformer模型进行分析
编辑 | 萝卜皮在处理语言时，大脑会部署专门的计算来从复杂的语言结构中构建含义。基于 Transformer 架构的人工神经网络是自然语言处理的重要工具。普林斯顿大学的研究人员探讨了 Transformer 模型和人类大脑在语言处理中的功能特殊化问题。Transformer 通过结构化电路计算整合单词间的上下文信息。不过，当前的研究主要集中于这些电路生成的内部表征（「嵌入」）。研究人员直接分析电路计算：他们将这些计算解构为功能专门的「transformations」，将跨词语的上下文信息整合在一起。利用参与者聆听自
7/17/2024 2:18:00 PM
ScienceAI
彻底改变语言模型：全新架构TTT超越Transformer，ML模型代替RNN隐藏状态

彻底改变语言模型：全新架构TTT超越Transformer，ML模型代替RNN隐藏状态
从 125M 到 1.3B 的大模型，性能都有提升。难以置信，这件事终于发生了。一种全新的大语言模型（LLM）架构有望代替至今在 AI 领域如日中天的 Transformer，性能也比 Mamba 更好。本周一，有关 Test-Time Training（TTT）的论文成为了人工智能社区热议的话题。论文链接：、加州大学伯克利分校、加州大学圣迭戈分校和 Meta。他们设计了一种新架构 TTT，用机器学习模型取代了 RNN 的隐藏状态。该模型通过输入 token 的实际梯度下降来压缩上下文。该研究作者之一 Karan
7/10/2024 11:20:00 AM
机器之心
全球首款 Transformer 专用 AI 芯片 Sohu 登场：每秒可处理 50 万个 tokens，比英伟达 H100 快 20 倍

全球首款 Transformer 专用 AI 芯片 Sohu 登场：每秒可处理 50 万个 tokens，比英伟达 H100 快 20 倍
Etched 公司宣布完成 1.2 亿美元（IT之家备注：当前约 8.73 亿元人民币） A 轮融资，将用于开发和销售全球首款 Transformer 专用集成电路（ASIC）芯片 Sohu。IT之家查询公开资料，Etched 公司由两名哈佛大学辍学生加文・乌伯蒂（Gavin Uberti）和克里斯・朱（Chris Zhu）创立，成立时间不到 2 年。Sohu 芯片最大的亮点在于直接把 Transformer 架构蚀刻到芯片中，乌伯蒂称 Sohu 采用台积电的 4 纳米工艺制造，推理性能大大优于 GPU 和其他通用
6/26/2024 11:31:40 AM
故渊
再战Transformer！原作者带队的Mamba 2来了，新架构训练效率大幅提升

再战Transformer！原作者带队的Mamba 2来了，新架构训练效率大幅提升
自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显。一个很明显的缺陷是：Transformer 模型中自注意力机制的计算量会随着上下文长度的增加呈平方级增长。几个月前，Mamba 的出现打破了这一局面，它可以随上下文长度的增加实现线性扩展。随着 Mamba 的发布，这些状态空间模型 (SSM) 在中小型规模上已经实现了与 Transformers 匹敌，甚至超越
6/4/2024 3:45:00 PM
机器之心
单GPU训练一天，Transformer在100位数字加法上就达能到99%准确率

单GPU训练一天，Transformer在100位数字加法上就达能到99%准确率
乘法和排序也有效。自 2017 年被提出以来，Transformer 已成为 AI 大模型的主流架构，一直稳站 C 位。但所有研究者都不得不承认的是，Transformer 在算数任务中表现非常糟糕，尤其是加法，这一缺陷在很大程度上源于 Transformer 无法跟踪大范围数字中每个数字的确切位置。为了解决这个问题，来自马里兰大学、CMU 等机构的研究者向这一问题发起了挑战，他们通过在每个数字中添加一个嵌入来解决这个问题，该嵌入编码数字相对于开头的位置。该研究发现，只用一天时间在单个 GPU 上训练 20 位数字
6/3/2024 11:56:00 AM
机器之心
Bengio等人新作：注意力可被视为RNN，新模型媲美Transformer，但超级省内存

Bengio等人新作：注意力可被视为RNN，新模型媲美Transformer，但超级省内存
序列建模的进展具有极大的影响力，因为它们在广泛的应用中发挥着重要作用，包括强化学习（例如，机器人和自动驾驶）、时间序列分类（例如，金融欺诈检测和医学诊断）等。在过去的几年里，Transformer 的出现标志着序列建模中的一个重大突破，这主要得益于 Transformer 提供了一种能够利用 GPU 并行处理的高性能架构。然而，Transformer 在推理时计算开销很大，主要在于内存和计算需求呈二次扩展，从而限制了其在低资源环境中的应用（例如，移动和嵌入式设备）。尽管可以采用 KV 缓存等技术提高推理效率，但 T
5/25/2024 6:19:00 PM
机器之心
研究人员推出 xLSTM 神经网络 AI 架构：并行化处理 Token、有望迎战 Transformer

研究人员推出 xLSTM 神经网络 AI 架构：并行化处理 Token、有望迎战 Transformer
研究人员 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年共同提出了长短期记忆（Long short-term memory，LSTM）神经网络结构，可用来解决循环神经网络（RNN）长期记忆能力不足的问题。而最近 Sepp Hochreiter 在 arXiv 上发布论文，提出了一种名为 xLSTM（Extended LSTM）的新架构，号称可以解决 LSTM 长期以来“只能按照时序处理信息”的“最大痛点”，从而“迎战”目前广受欢迎的 Transformer 架构。IT之家
5/13/2024 8:59:57 AM
漾仔
原作者带队，LSTM真杀回来了！

原作者带队，LSTM真杀回来了！
LSTM：这次重生，我要夺回 Transformer 拿走的一切。20 世纪 90 年代，长短时记忆（LSTM）方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来，LSTM 经受住了时间的考验，并为众多深度学习的成功案例做出了贡献。然而，以可并行自注意力为核心 Transformer 横空出世之后，LSTM 自身所存在的局限性使其风光不再。当人们都以为 Transformer 在语言模型领域稳坐江山的时候，LSTM 又杀回来了 —— 这次，是以 xLSTM 的身份。5 月 8 日，LSTM 提出者和奠基者 Se
5/9/2024 6:44:00 PM
机器之心
DeepMind升级Transformer，前向通过FLOPs最多可降一半

DeepMind升级Transformer，前向通过FLOPs最多可降一半
引入混合深度，DeepMind 新设计可大幅提升 Transformer 效率。Transformer 的重要性无需多言，目前也有很多研究团队致力于改进这种变革性技术，其中一个重要的改进方向是提升 Transformer 的效率，比如让其具备自适应计算能力，从而可以节省下不必要的计算。正如不久前 Transformer 架构的提出之一、NEAR Protocol 联合创始人 Illiya Polosukhin 在与黄仁勋的对话中说到的那样：「自适应计算是接下来必须出现的。我们要关注，在特定问题上具体要花费多少计算资
4/16/2024 2:31:00 PM
机器之心
直接扩展到无限长，谷歌Infini-Transformer终结上下文长度之争

直接扩展到无限长，谷歌Infini-Transformer终结上下文长度之争
不知 Gemini 1.5 Pro 是否用到了这项技术。谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。Infini-Transformer 引入了一种有效的方法，可以将基于 Transformer 的大型语言模型 (LLM) 扩展到无限长输入，而不增加内存和计算需求。使用该技术，研究者成功将一个 1B 的模型上下文长度提高到 100 万；应用到 8B 模型上，模型能处理 500K 的书籍摘要任务。自 2017 年开创性研究论文《Attention is All Yo
4/12/2024 7:43:00 PM
机器之心
李飞飞主讲，斯坦福2024 CS231n开课，依旧座无虚席

李飞飞主讲，斯坦福2024 CS231n开课，依旧座无虚席
「这是自 Karpathy 和我 2015 年启动这门课程以来的第 9 个年头，这是人工智能和计算机视觉令人难以置信的十年！」知名 AI 科学家李飞飞的计算机视觉「神课」CS231n，又一次开课了。总共 600 多位学生报名，第一堂课的现场座无虚席：从 2015 年到如今，CS231n 已经走到九个年头，也成为了一代计算机视觉专业学生心中的「必修课」：虽然课程代码不变，但可以猜到，2024 年的课程相比 2021 年版本的课程有不少新增内容，这还要归因于视觉生成技术三年来的巨大飞跃。在今年初的国际消费类电子产品展览
4/7/2024 12:02:00 AM
机器之心
Attention isn’t all you need！Mamba混合大模型开源：三倍Transformer吞吐量

Attention isn’t all you need！Mamba混合大模型开源：三倍Transformer吞吐量
Mamba 时代来了？自 2017 年开创性研究论文《Attention is All You Need》问世以来，transformer 架构就一直主导着生成式人工智能领域。然而，transformer 架构实际上有两个显著缺点：内存占用大：Transformer 的内存占用量随上下文长度而变化。这使得在没有大量硬件资源的情况下运行长上下文窗口或大量并行批处理变得具有挑战性，从而限制了广泛的实验和部署。 随着上下文长度的增加，推理速度会变慢：Transformer 的注意力机制随序列长度呈二次方扩展，并且会降低吞
3/29/2024 3:20:00 PM
机器之心
谁将替代 Transformer？

谁将替代 Transformer？
Transformer 由于其处理局部和长程依赖关系的能力以及可并行化训练的特点，一经问世，逐步取代了过去的 RNN（循环神经网络）与 CNN（卷积神经网络），成为 NLP（自然语言处理）前沿研究的标准范式。 今天主流的 AI 模型和产品——OpenAI 的ChatGPT、谷歌的 Bard、Anthropic 的 Claude，Midjourney、Sora到国内智谱 AI 的 ChatGLM 大模型、百川智能的 Baichuan 大模型、Kimi chat 等等——都是基于Transformer 架构。 Transformer 已然代表了当今人工智能技术无可争议的黄金标准，其主导地位至今无人能撼动。
3/27/2024 7:06:00 PM
张进
OpenAI 公关跳起来捂他嘴：Transformer 作者公开承认参与 Q*！

OpenAI 公关跳起来捂他嘴：Transformer 作者公开承认参与 Q*！
Transformer 作者中唯一去了 OpenAI 的那位，公开承认了：他参与了 Q * 项目，是这项新技术的发明者之一。这几天除了英伟达老黄组局把 Transformer 作者聚齐，他们中的几位还接受了连线杂志的采访，期间出了这么一个小插曲。当记者试图询问 Lukasz Kaiser 更多关于 Q * 的问题时时，OpenAI 的公关人员几乎跳过桌子去捂他的嘴。结合阿尔特曼在接受采访时，毫不迟疑地拒绝了相关提问，“我们还没准备好谈论这个话题”。神秘 Q*，成了 OpenAI 当前最需要保守的秘密之一。不过对于
3/25/2024 6:38:43 PM
清源