MH-MoE

微软让MoE长出多个头，大幅提升专家激活率

MH-MoE 能优化几乎所有专家，实现起来非常简单。混合专家（MoE）是个好方法，支持着现在一些非常优秀的大模型，比如谷歌家的 Gemini 1.5 以及备受关注的 Mixtral 8x7B。稀疏混合专家（SMoE）可在不显著增加训练和推理成本的前提下提升模型的能力。比如 Mixtral 8×7B 就是一个 SMoE 模型，其包含 8 个专家（共 7B 参数），而其表现却可以超过或比肩 LLaMA-2 70B 和 GPT-3.5。但是，它也有两个问题。一是专家激活率低 —— 也就是搞不好会出现下图这种情况：具体来说

5/14/2024 7:09:00 AM

机器之心

资讯热榜

Cursor宣布免费向学生开放一年Pro会员，助力AI编程教育大BUG！非学生用户竟能白嫖谷歌顶级AI全家桶白嫖攻略速看保姆级教程：零代码基础也能微调Qwen3，并本地部署 Midjourney V7推出全新功能 “Omni-Reference”，让图像生成更灵活 GPT-4o生成的烂自拍，反而比我们更真实英伟达全新开源自动语音识别模型 Parakeet-TDT-0.6B-V2，语音转录能力再提升尤雨溪：让 AI 更好的理解 Vue、Vite 应对网络威胁利器！Cisco与Meta推出Foundation-sec-8B LLM

标签云

人工智能 OpenAI AI AIGC ChatGPT DeepSeek AI绘画模型数据机器人谷歌大模型 Midjourney 智能用户开源学习微软 GPT Meta 图像 AI创作技术论文 Gemini 马斯克 Stable Diffusion 算法蛋白质芯片代码生成式英伟达腾讯神经网络研究 Anthropic 计算 3D Sora 机器学习 AI for Science AI设计开发者 GPU AI视频场景华为苹果人形机器人预测百度伟达 Transformer Claude 深度学习 xAI 搜索大语言模型模态字节跳动驾驶具身智能神器推荐文本 LLaMA Copilot 训练视觉算力安全应用视频生成干货合集智能体大型语言模型亚马逊科技 AGI DeepMind