AI在线 AI在线

AI 的下一个战场:小模型崛起

过去一段时间,大模型行业经历了一场风切变。 八月初,腾讯官宣“混元系列小模型”落地,不久后,阿里跟进了两款通义Qwen3-4B。 起初,大家以为只是国内大厂对轰,互秀肌肉罢了。

过去一段时间,大模型行业经历了一场风切变。

八月初,腾讯官宣“混元系列小模型”落地,不久后,阿里跟进了两款通义Qwen3-4B。

起初,大家以为只是国内大厂对轰,互秀肌肉罢了。

几天后,剧情愈演愈烈,大洋彼岸的 OpenAI 也加入战斗,破天荒开源gpt-oss-20B等两款模型,同样聚焦在小模型上。

头部玩家们如此整齐划一的举动,很难让人不浮想翩翩:

在大集群训练、大集群部署之外,小模型要重回舞台中央。

 

01

小模型重回大众视野

小模型不是一个新名词。

但这次回归的,不是停留在论文上的小模型,而是真正落地在终端的小模型。

在2020年 GPT-3 发布之前,全世界都在训小模型,只不过大多数小模型成果,都在论文里或者实验室里,属于普罗大众眼里纸上谈兵的“小模型”。

但 GPT-3 连带着ChatGPT横空出世,从学术界出圈,成为了人工智能领域史诗级的商业化产品。

有了资本加持,人工智能的发展从「大炼模型」迈入了「炼大模型」时代。

2021年到2024年,AI的技术路线可以总结成五个字:大力出奇迹”。

堆数据,堆算力,打补丁,改prompt,以及做post training的大模型思路,成了人工智能的正统,小模型至此彻底被雪藏了。

但去年底,OpenAI 的前首席科学家 Ilya Sutskever 正式预警:「数据压榨到头了」。

大家逐渐意识到,数据会枯竭,算力永远不够。

于是今年开始,大模型领域玩家开始分化。

除了一部分头部玩家仍追随 OpenAI 的脚步,死磕大参数基模外,剩下很多烧不起钱的玩家开始转头拥抱应用端。

然而,在这两个主流之外,还有一小撮“非共识”的玩家,把目光落在了小模型上。

但这次,不少创业公司重新拾起的小模型,和文章开头提到ChatGPT出现前十年间停留在论文上的小模型完全不一样。

它们是真正落地在终端的小模型,并且有了另一个名字:

端侧小模型或端侧智能。

 

02

崭露头角的端侧小模型公司们

今年以来,不少端侧小模型已经开始崭露头角了。

前一段的WAIC上,西门子MindSphere展台上围满了专业观众。

大家正在看一个展台上一个小于50MB的端侧部署小模型,它能够预测现场的三台冲压设备故障,并发出警报。

在这之前,车间里冲压机床只有累到趴窝才会被工人察觉,紧接着就需要停摆检修,造成全车间流水线暂停,带来巨大人力和财力损失。

因此在冲压机床出故障前,预警功能就非常重要。

面对这样的小场景,大模型算力再强,moe结构设计再精妙,也无法处理。

但这样一个精准的端侧小模型,就能够轻松应对。

这就是落地在终端小模型的冰山一角。

在这条窄路上前进的,还有一些独角兽公司,比如base北京的AI初创公司面壁智能。

之所以关注这家企业,是因为这家公司今年五月的一次成功融资。

在DeepSeek大火后,国内大模型公司融资难度堪比抵地狱级。一方面是行业共识认为大模型已收敛,另一方面,有DeepSeek珠玉在前,你实在太难说服投资人为什么要投你了。

但面壁智能却能持续拿到融资。

我问了很多业内人士,得到一个答案,关键在于它早早找到了自己的道路:小模型。

AI 科技评论独家知悉,就在这几天,面壁的全体员工,收到了一封特殊的“内部信”。

邮件来自公司决策层,借着公司三周年周庆,高层向全体员工回答了一个问题:为什么公司从大模型切入,却all in 端侧小模型?

邮件讲述了一些底层思考,内容非常爆炸,即使是外人看来,也能从一家AI初创公司的生存视角,有所收获。

按照邮件内的时间节点描述,面壁智能的创立初期是100%坚定大模型方向的。

它的创立时间是2022年,甚至早于DeepSeek。

创始团队出身于清华系,来自清华大学自然语言处理实验室。

在创立之前,面壁的创始团队就主力参与北京智源人工智能研究院的“悟道”,从时间来看,面壁智能应该吃到一波融资的红利,但我们先去分析过,国内的AI 科技 VC 有一些路径依赖,更愿意选择一些“曾经打过胜仗的连续创业者”,导致面壁智能虽然起的大早,但并没有成为资本的宠儿,而是靠自己硬拚出来的天地。

2022-2023年间,面壁一直在死磕大模型,当初他们的愿景是做出平民版大模型,我们曾经写过稿件,认为他是国内和DeepSeek愿景最类似的公司。

当然,面壁也做出了不少成绩,比如训练出多个百亿、千亿参数规模的大模型。

转折点发生在2023 年。

2023年,随着 Llama 开源,众多资本涌入,那一年里,大模型的创业公司增加到了十几家。

面壁智能迅速发现,千亿大模型烧钱太快,并且商业化方面难以落地,于是果断选择了调整战略,决定转向训练参数规模更小、算力更低、但性能更强的端侧模型。

转型之初,面壁并不容易。

一方面,端侧智能算是在黑暗中摸索,另一方面,市场上噪音很多,比如DeepSeek V3 以少胜多的战役,也曾让面壁的创始人怀疑,如果坚持不转型,是否自己也有机会在大模型上攀上一座高峰。(后续的行情,证明面壁智能果断转型是明智的)

但彼时,面壁已经全盘all in 端侧小模型,已经失去验证“更低成本训练更强大模型”的机会了。

好在小模型并不是邪修,面壁团队迅速在端侧小模型赛道找到感觉,有了一些自己的思路。

 

03 想成为端侧小模型的“开拓者”,并不容易

 

从时间上看,面壁智能不仅比文章开头提到的“混元”和“通义Qwen3”更早开启小模型的探索,并且在端侧探索上,几乎是领先行业一年半的身位。

提前一年半的布局,让面壁有不少成果。

第一是模型层面,面壁的端侧模型被称为小钢炮 MiniCPM系列。

至今已经完成多次迭代,最新的是上周开源的 minicpm v4.0 ,一款 8B 能做到5%的极高稀疏度,端侧能跑长文本、深思考,另一款 0.5B 更是能适配非常多的终端场景,能做到手机端持续、稳定可用,还不发热。

再加上此前做在视觉及实时语音对话等优化,面壁智能的端侧模型,完全能实现在iPad上进行多模态直播,这意味着,它的使用场景变得异常丰富。

从麦当劳的点餐机器人,到政府行政服务中心的服务机器人,再到儿童陪伴玩具都能完全能够胜任。

除了技术层面的突破,还有一些学术和开源成果。

上个月《Nature Communications》正式收录了面壁智能此前发布的一项关于新模型 MiniCPM-V 的研究成果系列。

其中包括一个OpenCompass 评分中超越 GPT-4V(2023.11.16 版本)的80 亿参数模型。

开源方面,面壁智能的小钢炮 MiniCPM 系列是2024 年 Hugging Face 最多下载、最受欢迎中国大模型,截至目前全平台下载量累计破 1000 万,能看到一定的使命感在里面。

除去技术层面和学术等层面,但真正能让大家直观感受的,还是落地到现实世界的场景。

社交媒体上经常有一些同类型的问题,为什么都说大模型能力早早超越人类,但迟迟没看到惊艳的落地场景?

答案在于大模型的能力,需要高性能云服务器才能发挥出来。

但大家平时生活中使用的手机,平板汽车等设备,都是算力非常有限的设备。

这类型设备有一个学名,叫做“边端算力场景”。

而这正是众多小模型厂家的主场。

继续拿面壁智能举例。和需要调用各种云端超高算力的大模型不一样,面壁的小钢炮系列模型,能在消费级显卡上流畅运行。

这就意味着手机,个人电脑,汽车,机器人,甚至是刚才提到的工厂环境,以及一些涉密的政府部门等等都可以部署。

“不仅把模型的配置门槛打下来了,使用场景还变得更丰富了”。

在面壁智能的内部信上,也提到了这些场景。

首先是汽车场景,面壁智能围绕着智能座舱,发布了一个以 MiniCPM 模型为核心汽车助手 cpmGO 。

目前 cpmGO ,已经与长安、上汽大众、长城、吉利、广汽等车企谈完合作了。

不出意外,第一款量产车会落在今年三季度即将上市的网红车款长安马自达 MAZDA EZ-60 上。

不止是车企,面壁还与高通、英特尔、联发科技、梧桐车联、德赛西威、中科创达、安波福等做了深度适配,正在推动下一代智能座舱的诞生。

这一点,面壁高层非常重视,根据内部信的内容,面壁今年为此特地成立了汽车业务线,目标非常简单粗暴:

“将MiniCPM 搭载到更多汽车上”。

从某种意义上,面壁确实在端侧的技术探索和实践落地上,在努力成为行业开拓者的角色。

 

最后,当我们在写这篇文章的时候得知,前面提到那个西门子展台的冲压机床预警小模型,经过几个月的真实产线的数据训练,预测准确率已经提升到89%,随着时间积累,准确度还在不断提高中。

与此同时,面壁智能的全体员工,也在对这份内部信进行了深度复盘。

过去,大模型领域在资本的加持下,蒙眼狂奔,让我们误以为 AGI 很快会到来,不做大模型就是原罪。

但当头部大模型企业开始进入瓶颈期,我们也冷静下来才逐渐看到,有那么多端侧小模型企业,正在脚踏实地去思考人类到底喜欢什么,大众到底需要什么,然后反推出背后的技术路线,做出小而美的落地产品。

 

相关资讯

大模型隐藏玩家上桌:DeepSeek 向左,面壁向右

作者丨朱可轩编辑丨陈彩娴大模型赛跑两年后,玩家已逐步分化为三种趋势:一类玩家仍追随 OpenAI 的脚步卷大参数基座模型,另外一类烧不起钱的玩家转头拥抱应用端,而第三类则自始至终都在摸索如何更高效打造出性能更优的模型。 目前,第一类卷向大参数的玩家也都在寻找高效解决方案,连 OpenAI 此前发布 GPT-4o mini 切入小模型市场,Meta Llama 3.1-8B、微软 Phi-3-vision 和 Phi-4 14B 、谷歌 Gemma 2 以及阿里 Qwen 2.5 等一系列小模型也都是头部玩家在做的布局。 算力存在上限已是不争的事实,而且也并非参数越大就意味着效果一定能达到预期,更何况,如若如果每增长一倍参数规模,效果能力却并未呈一倍增长,大模型发展起来会很慢:OpenAI 能用百千亿达到 GPT-4 的水平,其他家则可能需要投入更多资源,如此一来要追赶 GPT-5 会更难,因为在 OpenAI 的基础上再加码更多算力、参数的可能性不大,这对于大多数无法如同 OpenAI 一般大把烧钱的玩家而言并非理智选择。
1/16/2025 5:14:00 PM
朱可轩

vivo发布端侧多模态模型,只有3B可理解GUI界面,20项评测表现亮眼

vivo AI Lab发布AI多模态新模型了,专门面向端侧设计,紧凑高效~. 能够直接理解GUI页面的那种:模型BlueLM-2.5-3B,融合文本和图文的理解和推理能力,支持长短思考模式自由切换,并引入思考预算控制机制。 与同尺寸模型相比,BlueLM-2.5-3B在多个文本与多模态评测任务中表现出色。
7/10/2025 4:59:08 PM
西风

独家|杨红霞创业入局“端侧模型”,投后估值 1.5 亿美元

近日,关于字节跳动大语言模型研发技术专家杨红霞离职创业的事情,坊间传得沸沸扬扬。 此前,杨红霞为大家所熟知的是,她曾是阿里达摩院万亿参数规模多模态预训练模型 M6 的技术负责人,参与过北京智源研究院主导的“悟道”大模型项目,而该项目是中国最早的大模型项目之一。 2007 年,杨红霞从南开大学本科毕业后,赴杜克大学攻读博士,师从著名统计学家 David Dunson,著有超过 100 篇杰出学术论文。
5/30/2024 5:18:00 PM
晓楠
  • 1