AI在线 AI在线

小米开源“Xiaomi MiMo”大模型:为推理而生,以 7B 参数超越 OpenAI o1-mini

作者:清源
2025-04-30 09:46
在数学推理和代码竞赛公开测评集上,MiMo 仅用 7B 的参数规模,超越了 OpenAI 的闭源推理模型 o1-mini 和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-Preview。
感谢小米大模型团队通过“Xiaomi MiMo”公众号宣布,今天,小米开源首个“为推理而生”的大模型 Xiaomi MiMo,联动预训练到后训练,全面提升推理能力。据介绍,MiMo 是来自全新成立不久的“小米大模型 Core 团队”的初步尝试。

在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)公开测评集上,MiMo 仅用 7B 的参数规模,超越了 OpenAI 的闭源推理模型 o1-mini 和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-Preview

小米开源“Xiaomi MiMo”大模型:为推理而生,以 7B 参数超越 OpenAI o1-mini

官方表示,MiMo 推理能力的提升,由预训练和后训练阶段中数据和算法等多层面的创新联合驱动,包括:

  • 预训练:核心是让模型见过更多推理模式

    • 数据:着重挖掘富推理语料,并合成约 200B tokens 推理数据。

    • 训练:进行了三阶段训练,逐步提升训练难度,总训练 25T tokens。

图片

  • 后训练:核心是高效稳定的强化学习算法和框架

    • 算法:提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题,并引入 Easy Data Re-Sampling 策略,以稳定 RL 训练。

    • 框架:设计了 Seamless Rollout 系统,使得 RL 训练加速 2.29 倍,验证加速 1.96 倍。

图片

AI在线附开源地址:

  • Hugging Face:https://huggingface.co/XiaomiMiMo

  • 技术报告:https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf

小米开源“Xiaomi MiMo”大模型:为推理而生,以 7B 参数超越 OpenAI o1-mini

相关标签:

相关资讯

消息称亚马逊正开发推理模型 Nova:又要快又要能深度思考

据一位直接参与该项目的知情人士透露,这款新产品计划最早在 6 月以“Nova”品牌发布,Nova 是亚马逊去年底推出的一系列生成式AI模型。
3/4/2025 6:17:10 PM
清源

亚马逊研发新型推理人工智能模型,欲与OpenAI和Anthropic展开竞争

近日,有消息透露,亚马逊正在积极开发一种集成先进推理能力的人工智能模型。 这一新产品计划将在今年6月份以 Nova 品牌推出,Nova 是亚马逊去年年底发布的一系列生成式人工智能模型的一部分。 项目的相关人士表示,该模型旨在采用 “混合推理” 方法,能够在同一个系统中提供快速的回答以及更复杂的推理过程。
3/5/2025 9:23:00 AM
AI在线

字节跳动最新思考模型 Seed-Thinking-v1.5 技术细节公开,4 月 17 日开放接口

该模型在数学、编程、科学推理等专业领域及创意写作等通用任务中表现突出,同时,模型采用 MoE 架构,总参数 200B,激活参数为 20B,具备显著的推理成本优势,单位推理成本相比 DeepSeek R1 降低 50%。
4/14/2025 12:44:37 PM
清源
  • 1