AI在线 AI在线

扩散语言模型

告别「盲目自信」，CCD：扩散语言模型推理新SOTA

告别「盲目自信」，CCD：扩散语言模型推理新SOTA
扩散语言模型（Diffusion Language Models）以其独特的 “全局规划” 与并行解码能力广为人知，成为 LLM 领域的全新范式之一。 然而在 Any-order 解码模式下，其通常面临推理速度较慢且生成逻辑不连贯等问题。 对此，华为小艺香港团队、香港城市大学及香港大学的研究人员们共同提出了一种全新的上下文一致性解码算法（Coherent Contextual Decoding, CCD），充分利用扩散过程中的上下文增广，从理论上纠正了传统 DLM 推理策略的 “短视性”，并进一步采用自适应解码方案在多种开源 DLMs 上同时实现了 3.48 倍的加速和 3.9% 的性能提升。
12/14/2025 12:03:00 AM
机器之心
蚂蚁开源业内首个 100B 扩散语言模型 LLaDA2.0

蚂蚁开源业内首个 100B 扩散语言模型 LLaDA2.0
AI在线 12 月 12 日消息，蚂蚁技术研究院今日宣布推出 LLaDA2.0 系列离散扩散大语言模型（dLLM），并同步公开了背后的技术报告，宣称是“业内首个 100B 扩散语言模型”。 LLaDA2.0 包含 MoE 架构的 16B (mini) 和 100B (flash) 两个版本，将 Diffusion 模型的参数规模首次扩展到了 100B 量级。 蚂蚁技术研究院表示，此次发布的模型不仅打破了扩散模型难以扩展的固有印象，更在代码、数学和智能体任务上展现出了超越同级自回归（AR）模型的性能。
12/12/2025 3:37:18 PM
汪淼
Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录

Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录
扩散语言模型（Diffusion Language Models，DLM）一直以来都令研究者颇感兴趣，因为与必须按从左到右顺序生成的自回归模型（Autoregressive, AR）不同，DLM 能实现并行生成，这在理论上可以实现更快的生成速度，也能让模型基于前后文更好地理解生成语境。 然而，尽管其潜力巨大，DLM 的训练仍然充满挑战，主要原因是它在 scaling 上的效率相对低于 AR 模型。 例如，直接训练 DLM 需要在有限的数据集上进行更多次迭代，才能超越直接训练的 AR 模型。
10/12/2025 4:00:00 PM
机器之心