AI在线 AI在线

蚂蚁开源业内首个 100B 扩散语言模型 LLaDA2.0

作者：汪淼 2025-12-12 03:37
AI在线 12 月 12 日消息，蚂蚁技术研究院今日宣布推出 LLaDA2.0 系列离散扩散大语言模型（dLLM），并同步公开了背后的技术报告，宣称是“业内首个 100B 扩散语言模型”。 LLaDA2.0 包含 MoE 架构的 16B (mini) 和 100B (flash) 两个版本，将 Diffusion 模型的参数规模首次扩展到了 100B 量级。 蚂蚁技术研究院表示，此次发布的模型不仅打破了扩散模型难以扩展的固有印象，更在代码、数学和智能体任务上展现出了超越同级自回归（AR）模型的性能。

AI在线 12 月 12 日消息，蚂蚁技术研究院今日宣布推出 LLaDA2.0 系列离散扩散大语言模型（dLLM），并同步公开了背后的技术报告，宣称是“业内首个 100B 扩散语言模型”。

LLaDA2.0 包含 MoE 架构的 16B (mini) 和 100B (flash) 两个版本，将 Diffusion 模型的参数规模首次扩展到了 100B 量级。

蚂蚁技术研究院表示，此次发布的模型不仅打破了扩散模型难以扩展的固有印象，更在代码、数学和智能体任务上展现出了超越同级自回归（AR）模型的性能。

通过创新的 Warmup-Stable-Decay（WSD）持续预训练策略，LLaDA2.0 能够无缝继承现有 AR 模型的知识，避免了从头训练的高昂成本。结合不仅限于常规 SFT 的 置信度感知并行训练（CAP）和 扩散模型版 DPO，LLaDA2.0 在保证生成质量的同时，利用扩散模型的并行解码优势，实现了相比 AR 模型 2.1 倍的推理加速，证明了在超大规模参数下，扩散模型不仅可行，而且更强、更快。

图片

蚂蚁技术研究院在知识理解、数学、代码、推理 & 智能体等多个维度对模型进行了评估。结果显示，LLaDA2.0 在结构化生成任务（如代码）上具有显著优势，并在其他领域与开源 AR 模型持平。

LLaDA2.0 的模型权重（16B/100B）及相关训练代码均已在 Huggingface 开源，AI在线附开源地址：

https://huggingface.co/collections/inclusionAI/llada-20

相关标签：
蚂蚁集团 扩散语言模型 蚂蚁开源

相关资讯

Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录

Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录

扩散语言模型（Diffusion Language Models，DLM）一直以来都令研究者颇感兴趣，因为与必须按从左到右顺序生成的自回归模型（Autoregressive, AR）不同，DLM 能实现并行生成，这在理论上可以实现更快的生成速度，也能让模型基于前后文更好地理解生成语境。 然而，尽管其潜力巨大，DLM 的训练仍然充满挑战，主要原因是它在 scaling 上的效率相对低于 AR 模型。 例如，直接训练 DLM 需要在有限的数据集上进行更多次迭代，才能超越直接训练的 AR 模型。
10/12/2025 4:00:00 PM 机器之心
告别「盲目自信」，CCD：扩散语言模型推理新SOTA

告别「盲目自信」，CCD：扩散语言模型推理新SOTA

扩散语言模型（Diffusion Language Models）以其独特的 “全局规划” 与并行解码能力广为人知，成为 LLM 领域的全新范式之一。 然而在 Any-order 解码模式下，其通常面临推理速度较慢且生成逻辑不连贯等问题。 对此，华为小艺香港团队、香港城市大学及香港大学的研究人员们共同提出了一种全新的上下文一致性解码算法（Coherent Contextual Decoding, CCD），充分利用扩散过程中的上下文增广，从理论上纠正了传统 DLM 推理策略的 “短视性”，并进一步采用自适应解码方案在多种开源 DLMs 上同时实现了 3.48 倍的加速和 3.9% 的性能提升。
12/14/2025 12:03:00 AM 机器之心
微信炼出扩散语言模型，实现vLLM部署AR模型3倍加速，低熵场景超10倍

微信炼出扩散语言模型，实现vLLM部署AR模型3倍加速，低熵场景超10倍

腾讯微信 AI 团队提出 WeDLM（WeChat Diffusion Language Model），通过在标准因果注意力下实现扩散式解码，在数学推理等任务上实现相比 vLLM 部署的 AR 模型 3 倍以上加速，低熵场景更可达 10 倍以上，同时保持甚至提升生成质量。 引言自回归（AR）生成是当前大语言模型的主流解码范式，但其逐 token 生成的特性限制了推理效率。 扩散语言模型（Diffusion LLMs）通过并行恢复多个 mask token 提供了一种替代方案，然而在实践中，现有扩散模型往往难以在推理速度上超越经过高度优化的 AR 推理引擎（如 vLLM）。
1/4/2026 1:23:00 AM 机器之心
资讯热榜
免费！让图片放大不失真的位图转矢量图神器 Tmttool AI应用新纪元：2025中国AI应用排行榜榜单揭晓丨2025年1月 6秒视频10秒生成！全新AI视频神器 Grok Imagine 深度体验+元提示词分享 最火、最全的Agent记忆综述，NUS、人大、复旦、北大等联合出品 后悔没早发现！教你用谷歌Gemini生成精美PPT（附提示词） GGUF 是什么？一文看懂大模型里最火的模型格式 Sora、可灵、即梦哪家强？AI视频软件深度测评！ Mac也能跑Qwen3，一文看懂本地部署qwen 3配置要求
标签云
AI 人工智能 OpenAI AIGC 模型 ChatGPT 谷歌 DeepSeek AI新词 AI绘画 大模型 机器人 数据 Midjourney 开源 Meta 微软 智能 用户 GPT 学习 英伟达 Gemini 智能体 技术 马斯克 Anthropic 图像 AI创作 训练 LLM 论文 AI for Science 代码 腾讯 苹果 算法 Agent Claude 芯片 具身智能 Stable Diffusion xAI 蛋白质 人形机器人 开发者 生成式 神经网络 机器学习 AI视频 3D 字节跳动 大语言模型 RAG Sora 百度 研究 GPU 生成 华为 工具 AGI 计算 生成式AI AI设计 大型语言模型 搜索 亚马逊 AI模型 视频生成 特斯拉 DeepMind 场景 Copilot 深度学习 Transformer 架构 MCP 编程 视觉