AI在线 AI在线

自回归模型

token危机解决？扩散模型数据潜力3倍于自回归，重训480次性能仍攀升

token危机解决？扩散模型数据潜力3倍于自回归，重训480次性能仍攀升
token 危机终于要不存在了吗？ 近日，新加坡国立大学 AI 研究者 Jinjie Ni 及其团队向着解决 token 危机迈出了关键一步。 在当前大语言模型（LLM）的持续发展中，面临的挑战之一是可用的高质量训练文本数据（tokens）即将枯竭，并成为限制模型性能持续提升的关键瓶颈。
8/10/2025 1:12:00 PM
机器之心
联合理解生成的关键拼图？腾讯发布X-Omini：强化学习让离散自回归生成方法重焕生机，轻松渲染长文本图像

联合理解生成的关键拼图？腾讯发布X-Omini：强化学习让离散自回归生成方法重焕生机，轻松渲染长文本图像
本论文作者团队来自腾讯混元X组，共同一作为耿子钢和王逸冰，项目Lead为张小松，通讯作者为腾讯混元团队杰出科学家胡瀚，Swin Transformer作者。 在图像生成领域，自回归（Autoregressive, AR）模型与扩散（Diffusion）模型之间的技术路线之争始终未曾停歇。 大语言模型（LLM）凭借其基于「预测下一个词元」的优雅范式，已在文本生成领域奠定了不可撼动的地位。
8/10/2025 1:07:00 PM
机器之心
五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来

五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来
近年来，语言模型的显著进展主要得益于大规模文本数据的可获得性以及自回归训练方法的有效性。 在这种自回归的训练框架中，每一个 token 都作为其前文上下文的预测目标。 这一方法无需显式标注，使得自回归模型在训练阶段具有明显优势，因而成为主流范式。
7/24/2025 1:21:00 PM
机器之心
英伟达与 MIT、香港大学联手推出 Fast-dLLM 框架，推理速度提升惊人

英伟达与 MIT、香港大学联手推出 Fast-dLLM 框架，推理速度提升惊人
在最近的科技进展中，英伟达与麻省理工学院（MIT）和香港大学联合推出了名为 Fast-dLLM 的新框架，显著提升了扩散模型(Diffusion-based LLMs)的推理速度，最高可达27.6倍。 这一创新的成果为语言模型的应用开辟了新天地。 扩散模型被视为自回归模型的有力竞争者，采用了双向注意力机制，使其在理论上能够实现多词元同步生成，从而加快解码速度。
6/3/2025 3:00:54 PM
AI在线
关于计算机视觉中的自回归模型，这篇综述一网打尽了

关于计算机视觉中的自回归模型，这篇综述一网打尽了
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]。
12/1/2024 2:10:00 PM
机器之心