AI在线 AI在线

小模型

Thinking Machine新研究刷屏！结合RL+微调优势，小模型训练更具性价比了

Thinking Machine新研究刷屏！结合RL+微调优势，小模型训练更具性价比了
Thinking Machine最新研究正在被热议！ 创始人、OpenAI前CTO Mira Murati亲自转发后，一众围观大佬开始惊叹其研究价值（截不完、根本截不完）：图片根据Mira Murati的提炼，原来他们提出了一种让小模型更懂专业领域的LLM（大语言模型）后训练方法——On-Policy Distillation （在线策略蒸馏）。 图片这个方法的精髓，可以打个比方。
10/28/2025 9:21:02 AM
小模型用推理反而性能下降15%！1.6M配对样本揭示推理能力真相

小模型用推理反而性能下降15%！1.6M配对样本揭示推理能力真相
大家好，我是肆〇柒。 在大语言模型领域，推理能力（reasoning）已成为备受推崇的技术亮点。 从OpenAI的o1推理系列到开源社区的Qwen和Mistral模型，业界纷纷推出推理专用模型，思维链（Chain-of-Thought）更是成为标配。
10/27/2025 9:08:20 AM
肆零柒
告别“模型军备竞赛”：专业化小模型正成为企业AI落地的务实之选

告别“模型军备竞赛”：专业化小模型正成为企业AI落地的务实之选
但规模大并不总是意味着更好，因为规模大通常意味着复杂度增加、灵活性降低。 渐渐地，企业开始意识到，万亿参数模型并不总是其业务的最佳解决方案，并非所有AI解决方案都需要一个巨型大语言模型，更专注的方法有望带来更好的成果。 针对相关数据的特定任务进行调整的小型专用模型正日益受到青睐。
10/24/2025 2:21:34 PM
Ilia Badeev
最新研究！告别“大材小用”！智能体任务的黄金法则是：用小模型（SLM）

最新研究！告别“大材小用”！智能体任务的黄金法则是：用小模型（SLM）
一、研究背景任务定义这篇论文研究的核心问题是：小型语言模型（SLMs，参数量在1-12B之间）是否能够在智能体系统（Agentic Systems）中替代大型语言模型（LLMs）。 智能体系统指的是那些需要调用外部工具、生成结构化输出、执行函数调用的AI应用场景，比如：检索增强生成（RAG）API调用和工具使用代码生成和执行结构化数据提取研究动机长期以来，业界有个默认共识："模型越大越好"。 但这篇论文挑战了这个观点，提出了一个颠覆性的发现：在智能体场景下，小模型不仅够用，而且往往更优秀。
10/15/2025 2:35:00 AM
ChallengeHub
统一视角下的HPT：动态融合SFT与RL，释放LLM后训练新潜能

统一视角下的HPT：动态融合SFT与RL，释放LLM后训练新潜能
大家好，我是肆〇柒。 今天探索一篇来自清华大学、上海AI实验室与微信AI团队的前沿研究。 这篇论文提出了一种名为HPT的创新算法，它像一位“智能教练”，能根据模型的实时表现，动态决定是该用监督学习“补基础”，还是用强化学习“练推理”，从而解决后训练中SFT与RL难以调和的矛盾，让模型性能实现质的飞跃。
9/16/2025 10:09:00 AM
肆零柒
"顿悟"会传染，94%性能跃升：SAPO如何用“共享经验”重构小模型RL训练

"顿悟"会传染，94%性能跃升：SAPO如何用“共享经验”重构小模型RL训练
大家好，我是肆〇柒。 我看到了一个很有趣的研究，它涉及经验共享，群体RL进化。 今天我们要探讨的，不是来自谷歌或OpenAI的最新成果，而是一家名为Gensyn AI的前沿研究团队提出的革命性想法。
9/15/2025 9:12:53 AM
肆零柒
AI 的下一个战场：小模型崛起

AI 的下一个战场：小模型崛起
过去一段时间，大模型行业经历了一场风切变。 八月初，腾讯官宣“混元系列小模型”落地，不久后，阿里跟进了两款通义Qwen3-4B。 起初，大家以为只是国内大厂对轰，互秀肌肉罢了。
9/5/2025 9:13:00 PM
齐铖湧
CC吊炸天的秘密找到了！旧金山初创CEO自曝数月研究：CC主控制仅1个循环，大量使用小模型，惊呼：简单到爆，肝一份深度复刻指南

CC吊炸天的秘密找到了！旧金山初创CEO自曝数月研究：CC主控制仅1个循环，大量使用小模型，惊呼：简单到爆，肝一份深度复刻指南
编辑 | 云昭出品 | 51CTO技术栈（微信号：blog51cto）世界上最好用的编程工具，Claude Code，又被人深度研究了！ 它背后，竟然只保留了一个主控制循环，系统逻辑竟然简单到爆。 管AI代理如此复杂，但这款最令人愉悦的AI编程工具，却保持了极其简单的方式。
8/25/2025 4:47:13 PM
云昭
Qwen3家族训练秘籍公开：思考/非思考融进一个模型，大模型蒸馏带动小模型

Qwen3家族训练秘籍公开：思考/非思考融进一个模型，大模型蒸馏带动小模型
Qwen3技术报告新鲜出炉，8款模型背后的关键技术被揭晓！ 采用了双模式架构，一个模型同时支持推理和非推理任务，根据需要自动切换。 训练和微调过程采取分段式策略，逐步构建模型能力。
5/14/2025 1:22:08 PM
量子位
斯坦福2025 AI指数出炉！中美AI对决差距仅剩0.3%，DeepSeek领衔

斯坦福2025 AI指数出炉！中美AI对决差距仅剩0.3%，DeepSeek领衔
就在刚刚，每年都备受瞩目的斯坦福AI指数报告，重磅发布了！ 这份报告由斯坦福大学以人为本AI研究员发布，代表着每年AI领域最核心和前沿的动向总结。 今年，这份报告长达456页，抛出不少惊人观点。
4/9/2025 4:22:00 AM
新智元
小模型：传统行业智能化转型的“轻量级引擎”

小模型：传统行业智能化转型的“轻量级引擎”
一、生成式AI浪潮下，传统行业CIO的“务实革命”当全球企业竞逐千亿参数大模型时，制造业、医药、能源等传统行业的CIO们正悄然发起一场“务实革命”——与其追逐算力军备竞赛，他们更关注如何让AI真正落地车间、实验室与供应链。 面对高昂的GPU集群投入、复杂的数据合规要求，以及垂直场景的碎片化需求，企业技术决策者开始重新审视技术路径：能否以更轻量的方式，撬动智能化转型?小模型(Small Language Models, SLM)的崛起，恰恰击中了这一痛点。 相较于“大而泛”的通用大模型，参数规模通常小于10亿的小模型凭借轻量化架构、领域精调能力和边缘端部署优势，正成为传统行业的“轻量级引擎”。
3/5/2025 9:30:00 AM
网易有道推出国内首个输出分步式讲解的推理模型“子曰-o1”

网易有道推出国内首个输出分步式讲解的推理模型“子曰-o1”
据官方介绍，子曰-o1 是 14B 轻量级单模型，支持在消费级显卡上进行部署，采用思维链技术，能够提供细致解题过程，以强逻辑和推理能力，实现更高的解题准确性，并提供中文逻辑推理。
1/22/2025 11:26:32 AM
问舟
解读小模型—SLM

解读小模型—SLM
大模型的世界几乎每天都在发生变化。 一方面，人们越来越重视开发更大、更强大的语言模型，以实现通用人工智能（AGI）。 这些大模型通常位于拥有数十万GPU的大型数据中心中。
12/2/2024 1:18:54 AM
曹洪伟
一夜小模型王座易主！英伟达发布超强小模型，新混合架构威力超Transformer，性能、速率、缓存全面超越Llama3.2！

一夜小模型王座易主！英伟达发布超强小模型，新混合架构威力超Transformer，性能、速率、缓存全面超越Llama3.2！
编辑 ｜言征小模型王座一夜易主了！ 冷不防，英伟达就丢出了一个新混合架构，以后不再只是Transformer的天下了。 日前，NVIDIA刚刚发布了Hymba-1.5B-Base，这是一个将Transformer注意力机制与状态空间模型（SSM）集成的小型语言模型。
11/25/2024 8:54:41 AM
言征
OpenAI 终于发布 GPT-4o mini，但比中国大模型晚了半年

OpenAI 终于发布 GPT-4o mini，但比中国大模型晚了半年
美国时间 7 月18 日，OpenAI 正式发布了多模态小模型 GPT-4o mini，在海内外引起了广泛关注。 此前，OpenAI 凭借 GPT-3 开拓了 AI 模型的“暴力美学”时代，同时也以训练超大参数规模的模型能力建立起 AGI 同赛道的护城河。 但在其推出 GPT-4o 的“Mini”版本之后，OpenAI 似乎走向了原有优势的反方向，开始卷“小模型”，而值得注意的是：在 Mini 这条路上，欧洲与中国的大模型团队已经率先研究了大半年。
7/19/2024 4:07:00 PM
朱可轩
  • 1