LocMoE
华为GTS LocMoE+:高可扩展性亲和度 MoE 架构,低开销实现主动路由
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]本论文共同一作为李婧博士,孙志杰和林大超博士,主要成员来自GTS AI计算Lab,主要研究及落地领域包含LLM训推加速、AI训练保障和图计算。MoE 因其在训推流程中低销高效的特点,近两年
7/19/2024 2:35:00 PM
机器之心
打破MoE训练效率与性能瓶颈,华为盘古稀疏大模型全新架构LocMoE出炉
2023 年 12 月,首个开源 MoE 大模型 Mixtral 8×7B 发布,在多种基准测试中,其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B,而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能,稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。MoE 的广泛应用,使得在计算成本相对不变的条件下,模型容量能够得到显著扩展。此特性无疑使得 MoE 成为推动 LLM 发展的关键技术。MoE 设计的初衷,是使模型的学习更加 “术业有专攻”,其有效性已得到业界肯定。然而现有 MoE
2/4/2024 3:49:00 PM
机器之心
- 1
资讯热榜
月之暗面 Kimi K2 发布并开源,擅长代码与 Agentic 任务
ChatGPT 商业推荐被曝引用不可靠信息来源,专家提醒用户勿盲目信任
谷歌 Gemini 待发布新技能曝光:AI 帮你生成插画故事书
OpenAI 筹划进军硬件市场,CEO 奥尔特曼曾称 AI 革命不一定需要新硬件
ChatGPT 又遇“奶奶漏洞”,网友成功让 GPT-4o 主动生成“Win7 密钥”
微软发布 Phi-4-mini-flash-reasoning 端侧 AI 模型:10 倍吞吐量,推理能力升级
ChatGPT 推出“一起学习”功能:不直接给答案,引导用户自主思考
资讯/神器/素材全都有!2025年6月设计素材周刊第四波
标签云
人工智能
AI
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
数据
机器人
大模型
Midjourney
用户
智能
开源
微软
Meta
GPT
学习
图像
技术
Gemini
AI创作
马斯克
论文
Anthropic
代码
英伟达
算法
Stable Diffusion
智能体
训练
芯片
开发者
蛋白质
生成式
腾讯
苹果
AI新词
神经网络
3D
Claude
研究
LLM
生成
机器学习
计算
Sora
AI for Science
人形机器人
AI视频
xAI
AI设计
GPU
华为
百度
搜索
大语言模型
Agent
场景
字节跳动
预测
深度学习
伟达
大型语言模型
工具
Transformer
视觉
RAG
神器推荐
具身智能
亚马逊
Copilot
模态
AGI
LLaMA
文本
算力
驾驶