AI在线 AI在线

扩散语言模型

微信炼出扩散语言模型，实现vLLM部署AR模型3倍加速，低熵场景超10倍

微信炼出扩散语言模型，实现vLLM部署AR模型3倍加速，低熵场景超10倍

腾讯微信 AI 团队提出 WeDLM（WeChat Diffusion Language Model），通过在标准因果注意力下实现扩散式解码，在数学推理等任务上实现相比 vLLM 部署的 AR 模型 3 倍以上加速，低熵场景更可达 10 倍以上，同时保持甚至提升生成质量。 引言自回归（AR）生成是当前大语言模型的主流解码范式，但其逐 token 生成的特性限制了推理效率。 扩散语言模型（Diffusion LLMs）通过并行恢复多个 mask token 提供了一种替代方案，然而在实践中，现有扩散模型往往难以在推理速度上超越经过高度优化的 AR 推理引擎（如 vLLM）。
1/4/2026 1:23:00 AM 机器之心
告别「盲目自信」，CCD：扩散语言模型推理新SOTA

告别「盲目自信」，CCD：扩散语言模型推理新SOTA

扩散语言模型（Diffusion Language Models）以其独特的 “全局规划” 与并行解码能力广为人知，成为 LLM 领域的全新范式之一。 然而在 Any-order 解码模式下，其通常面临推理速度较慢且生成逻辑不连贯等问题。 对此，华为小艺香港团队、香港城市大学及香港大学的研究人员们共同提出了一种全新的上下文一致性解码算法（Coherent Contextual Decoding, CCD），充分利用扩散过程中的上下文增广，从理论上纠正了传统 DLM 推理策略的 “短视性”，并进一步采用自适应解码方案在多种开源 DLMs 上同时实现了 3.48 倍的加速和 3.9% 的性能提升。
12/14/2025 12:03:00 AM 机器之心
蚂蚁开源业内首个 100B 扩散语言模型 LLaDA2.0

蚂蚁开源业内首个 100B 扩散语言模型 LLaDA2.0

AI在线 12 月 12 日消息，蚂蚁技术研究院今日宣布推出 LLaDA2.0 系列离散扩散大语言模型（dLLM），并同步公开了背后的技术报告，宣称是“业内首个 100B 扩散语言模型”。 LLaDA2.0 包含 MoE 架构的 16B (mini) 和 100B (flash) 两个版本，将 Diffusion 模型的参数规模首次扩展到了 100B 量级。 蚂蚁技术研究院表示，此次发布的模型不仅打破了扩散模型难以扩展的固有印象，更在代码、数学和智能体任务上展现出了超越同级自回归（AR）模型的性能。
12/12/2025 3:37:18 PM 汪淼
Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录

Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录

扩散语言模型（Diffusion Language Models，DLM）一直以来都令研究者颇感兴趣，因为与必须按从左到右顺序生成的自回归模型（Autoregressive, AR）不同，DLM 能实现并行生成，这在理论上可以实现更快的生成速度，也能让模型基于前后文更好地理解生成语境。 然而，尽管其潜力巨大，DLM 的训练仍然充满挑战，主要原因是它在 scaling 上的效率相对低于 AR 模型。 例如，直接训练 DLM 需要在有限的数据集上进行更多次迭代，才能超越直接训练的 AR 模型。
10/12/2025 4:00:00 PM 机器之心