OLMoE

第一个100%开源的MoE大模型，7B的参数，1B的推理成本

训练代码、中间 checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展，但在训练和推理方面，性能和成本之间仍然需要权衡。对于许多学者和开发人员来说，高性能的 LM 是无法访问的，因为它们的构建和部署成本过高。改善成本 - 性能的一种方法是使用稀疏激活混合专家 (MoE)。MoE 在每一层都有几个专家，每次只激活其中的一个子集（参见图 2）。这使得 MoE 比具有相似参数量的密集模型更有效，因为密集模型为每个输入激活所有参数。出于这个原因，行业前沿模型包括 Gemin

9/5/2024 10:34:00 AM

机器之心

资讯热榜

OpenAI 开源模型被 Meta 研究员“逆改”！只动0.3%参数，gpt-oss-20B 解锁无约束基座奥特曼：我承认GPT-5发布搞砸了首个面向肽分子设计的大模型平台：直接「读序列」出结合子，无需结构输入即可生成网易有道发布子曰教育大模型多款AI新品，定义教育AI应用能力L1-L5分级小红书发布DynamicFace人脸生成技术，实现高质量图像视频人脸融合大模型给自己当裁判并不靠谱！上海交通大学新研究揭示LLM-as-a-judge机制缺陷蚂蚁AI健康管家AQ上线四大打假功能向假医疗广告宣战 OpenAI突然"背叛"自己：推理与创作分家，万能AI时代终结？

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini 马斯克 AI创作智能体论文 Anthropic 英伟达代码训练算法 Stable Diffusion 芯片 LLM AI新词蛋白质开发者腾讯生成式 Claude 苹果 Agent AI for Science 神经网络 3D 机器学习研究生成 xAI 人形机器人 AI视频计算 Sora 百度 GPU AI设计华为工具大语言模型搜索具身智能 RAG 字节跳动场景大型语言模型深度学习预测伟达视觉 Transformer 视频生成 AGI 架构神器推荐亚马逊 Copilot DeepMind 特斯拉应用