原生MoE模型

2025外滩大会：蚂蚁、人大发布首个原生MoE扩散语言模型，将于近期开源

蚂蚁集团和人民大学联合研发原生MoE架构扩散语言模型（dLLM) LLaDA-MoE，在约20T数据上完成了从零训练MoE架构的扩散语言模型，验证了工业级大规模训练的扩展性和稳定性；效果超过此前发布稠密扩散语言模型LLaDA1.0/1.5和Dream-7B，比肩等效自回归模型，并保有数倍的推理速度优势。模型将在近期完全开源，以推动全球AI社区在dLLM上的技术发展。 9月11日，在2025Inclusion·外滩大会上，蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型（dLLM）“LLaDA-MoE”，中国人民大学高瓴人工智能学院副教授李崇轩，蚂蚁集团通用人工智能研究中心主任、西湖大学特聘研究员、西湖心辰创始人蓝振忠参与了发布仪式。

9/12/2025 9:28:51 AM

一水

资讯热榜

看完刘润年度演讲，教你做好AI时代的能力迁徙！苹果Siri将大变样！付费请谷歌助力AI升级 LangChain 大模型应用开发框架：从 RAG 到 Agent 的完整指南黑客新手法：利用 OpenAI API 创建 “隐形” 后门恶意软件从AI到泰勒·斯威夫特——源于生活的案例与启示字节跳动新举措！推出豆包股激励计划，吸引大模型人才万代南梦宫等日本大厂联合发声，要求 OpenAI 停止使用其作品训练 AI 谷歌流量显著下降，People Inc. 与微软达成 AI 内容授权协议

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画大模型机器人数据 Midjourney 开源 Meta AI新词微软智能用户 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法 Agent AI for Science 芯片苹果 Claude 腾讯 Stable Diffusion 蛋白质开发者生成式神经网络 xAI 机器学习 3D RAG 人形机器人 AI视频研究大语言模型具身智能生成百度 Sora 工具 GPU 华为计算字节跳动 AI设计大型语言模型 AGI 搜索视频生成场景深度学习架构生成式AI DeepMind 亚马逊编程视觉 Transformer AI模型预测特斯拉 MCP