AI在线 AI在线

混合专家（MoE）模型

Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制

Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
稀疏激活的混合专家模型（MoE）通过动态路由和稀疏激活机制，极大提升了大语言模型（LLM）的学习能力，展现出显著的潜力。 基于这一架构，涌现出了如 DeepSeek、Qwen 等先进的 MoE LLM。 然而，随着模型参数的迅速膨胀，如何高效部署和推理成了新的挑战。
8/11/2025 2:46:00 PM
机器之心
Jurgen、曼宁等大佬新作：MoE重塑6年前的Universal Transformer，高效升级

Jurgen、曼宁等大佬新作：MoE重塑6年前的Universal Transformer，高效升级
7 年前，谷歌在论文《Attention is All You Need》中提出了 Transformer。就在 Transformer 提出的第二年，谷歌又发布了 Universal Transformer（UT）。它的核心特征是通过跨层共享参数来实现深度循环，从而重新引入了 RNN 具有的循环表达能力。
10/19/2024 9:20:00 PM
机器之心
马斯克开源Grok-1：3140亿参数迄今最大，权重架构全开放，磁力下载

马斯克开源Grok-1：3140亿参数迄今最大，权重架构全开放，磁力下载
开源社区有福了。说到做到，马斯克承诺的开源版大模型 Grok 终于来了！今天凌晨，马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家（MoE）模型「Grok-1」，以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。         封面图根据 Grok 提示使用 Midjourney 生成的：神经网络的 3D 插图，具有透明节点和发光连接，以不同粗细和颜色的连接线展示不同的权重。这个时候，马斯克当然不会忘了嘲讽 OpenAI 一番，「我们想了解更多 OpenAI
3/18/2024 2:23:00 PM
机器之心