AI在线 AI在线

连续自回归语言模型

微信、清华连续自回归模型CALM，新范式实现从「离散词元」到「连续向量」转变

微信、清华连续自回归模型CALM，新范式实现从「离散词元」到「连续向量」转变
众所周知，大型语言模型（LLM）的根本运作方式是预测下一个 token（词元），能够保证生成的连贯性和逻辑性，但这既是 LLM 强大能力的「灵魂」所在，也是其枷锁，将导致高昂的计算成本和响应延迟。 可以说，业界「苦」LLM 效率久矣，为了解决这一瓶颈，研究人员进行了多种尝试。 其实从根本上分析，大型语言模型（LLM）的效率是受限于其逐个词元生成的顺序过程。
11/7/2025 1:12:00 PM
机器之心
  • 1