盘古-Σ

打破MoE训练效率与性能瓶颈，华为盘古稀疏大模型全新架构LocMoE出炉

2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。MoE 的广泛应用，使得在计算成本相对不变的条件下，模型容量能够得到显著扩展。此特性无疑使得 MoE 成为推动 LLM 发展的关键技术。MoE 设计的初衷，是使模型的学习更加 “术业有专攻”，其有效性已得到业界肯定。然而现有 MoE

2/4/2024 3:49:00 PM

机器之心

资讯热榜

昆仑万维面向全球发布天工超级智能体Skywork Super Agents 昆仑万维天工超级智能体发布！AI Office革命来袭，Deep Research碾压OpenAI，成本仅40%！字节跳动开源多模态模型 BAGEL：图文生成与编辑的新突破 3分钟生成UI源文件！实测谷歌最新UI设计神器Google Stitch 告别“单打独斗”！AI 协作新范式 MoA，如何集结大模型“梦之队”？ Anthropic拒绝为Windsurf提供Claude Sonnet 4与Opus 4支持，商战大戏开演！进化智能体 AlphaEvolve：科学发现与算法优化的新引擎从设计到开发一步到位！Figma 5大新功能深度解析！

标签云

人工智能 AI OpenAI AIGC ChatGPT 模型 DeepSeek AI绘画机器人数据谷歌大模型 Midjourney 用户智能开源微软 GPT 学习 Meta 图像技术 AI创作 Gemini 论文马斯克 Stable Diffusion 算法代码芯片英伟达生成式蛋白质开发者腾讯 Anthropic 神经网络研究 3D 计算机器学习 Sora 生成 AI设计 AI for Science 苹果 GPU AI视频训练华为搜索 Claude 场景百度人形机器人预测伟达 xAI 智能体深度学习 Transformer 大语言模型字节跳动模态文本神器推荐 LLaMA 具身智能 Copilot 视觉驾驶 API 算力 Agent 应用大型语言模型工具安全干货合集视频生成