AI在线 AI在线

MoE

“全球首创”单台 RTX 4090 服务器推理，昆仑万维开源 2 千亿稀疏大模型天工 MoE

“全球首创”单台 RTX 4090 服务器推理，昆仑万维开源 2 千亿稀疏大模型天工 MoE
昆仑万维今日宣布开源 2 千亿稀疏大模型 Skywork-MoE，基于之前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来，号称是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE 大模型，也是首个支持用单台 RTX 4090 服务器（8 张 RTX 4090 显卡）推理的开源千亿 MoE 大模型。据介绍，本次开源的 Skywork-MoE 模型隶属于天工 3.0 的研发模型系列，是其中的中档大小模型（Skywork-MoE-Medium），模型的总参数量为 1
6/3/2024 6:11:54 PM
汪淼
MoE 高效训练的 A/B 面：与魔鬼做交易，用「显存」换「性能」

MoE 高效训练的 A/B 面：与魔鬼做交易，用「显存」换「性能」
MoE 会成为未来大模型训练的新方向吗？ 这是人们发现 MoE 架构可以用于大模型训练、推理后，发出的一声疑问。 MoE（Mixture of Experts），又称「混合专家」，本质是一种模块化的稀疏激活。
5/27/2024 3:15:00 PM
晓楠
元象首个MoE大模型开源：4.2B激活参数，效果堪比13B模型

元象首个MoE大模型开源：4.2B激活参数，效果堪比13B模型
元象发布XVERSE-MoE-A4.2B大模型 ， 采用业界最前沿的混合专家模型架构 （Mixture of Experts），激活参数4.2B，效果即可媲美13B模型。该模型全开源，无条件免费商用，让海量中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用，推动低成本部署。GPT3、Llama与XVERSE等主流大模型发展遵循规模理论（Scaling Law）， 在模型训练和推理的过程中，单次前向、反向计算时，所有参数都被激活，这被称为稠密激活 （densely activated）。 当 模型规模增大时，
4/2/2024 10:24:00 AM
新闻助手
「天工2.0」MoE大模型发布——「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世

「天工2.0」MoE大模型发布——「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世
北京时间2月6日，昆仑万维正式发布新版MoE大语言模型「天工2.0」与新版「天工AI智能助手」APP，这是国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。用户即日起可在各手机应用市场下载「天工AI智能助手」APP，体验昆仑万维「天工2.0」MoE大模型的卓越性能。「天工2.0」是昆仑万维自去年4月发布双千亿级大语言模型「天工」以来的最大规模版本升级，其采用业内顶尖的MoE专家混合模型架构，应对复杂任务能力更强、模型响应速度更快、训练及推理效率更高、可扩展性更强。此次更新全面升级了AI
2/6/2024 2:23:00 PM
新闻助手
被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署

被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署
本文将介绍 MoE 的构建模块、训练方法以及在使用它们进行推理时需要考虑的权衡因素。专家混合 (MoE) 是 LLM 中常用的一种技术，旨在提高其效率和准确性。这种方法的工作原理是将复杂的任务划分为更小、更易于管理的子任务，每个子任务都由专门的迷你模型或「专家」处理。早些时候，有人爆料 GPT-4 是采用了由 8 个专家模型组成的集成系统。近日，Mistral AI 发布的 Mixtral 8x7B 同样采用这种架构，实现了非常不错的性能（传送门：一条磁力链接席卷 AI 圈，87GB 种子直接开源 8x7B MoE
1/22/2024 11:10:00 AM
机器之心