面壁智能 MiniCPM 4 与 Intel 全面适配，实现 AI PC 2.2 倍长文本推理优化

作者：归泷 2025-06-12 11:40

面壁智能于本月 6 日晚发布端侧大模型 MiniCPM 4.0。面壁智能官方今日发文称，面壁 MiniCPM 4 与 Intel 全面适配，结合英特尔加速套件与 KV Cache 内存增强技术，实现 AI PC 2.2 倍长文本推理优化。

感谢面壁智能于本月 6 日晚发布端侧大模型 MiniCPM 4.0。面壁智能官方今日发文称，面壁 MiniCPM 4 与 Intel 全面适配，结合英特尔加速套件与 KV Cache 内存增强技术，实现 AI PC 2.2 倍长文本推理优化，端侧 AI PC 在 Day 0 全面适配，128K 长上下文窗口等多方面突破。

据介绍，此次面壁推出的 MiniCPM 4.0 系列 LLM 模型拥有 8B、0.5B 两种参数规模，针对单一架构难以兼顾长、短文本不同场景的技术难题，MiniCPM 4.0-8B 采用「高效双频换挡」机制，能够根据任务特征自动切换注意力模式：在处理高难度的长文本、深度思考任务时，启用稀疏注意力以降低计算复杂度，在短文本场景下切换至稠密注意力以确保精度，实现了长、短文本切换的高效响应。

目前，具有 CPU、GPU、NPU 三个 AI 运算引擎的英特尔酷睿 Ultra 处理器已对此适配，并借助 OpenVINO 工具套件为 MiniCPM 4.0 系列模型提供优化的卓越性能表现。英特尔再次在 NPU 上对模型发布提供第零日（Day 0）支持，为不同参数量模型和应用场景提供更多样化的、更有针对性的平台支持。

据AI在线了解，MiniCPM 4.0 可在 vLLM、SGLang、LlamaFactory、XTuner 等开源框架部署。其内置自研 CPM.cu 极速端侧推理框架，从投机采样创新、模型压缩量化创新、端侧部署框架创新几方面，带来 90% 的模型瘦身和速度提升，官方宣称将实现端侧推理“从天生到终生”的丝滑。

2B参数性能超Mistral-7B：面壁智能多模态端侧模型开源

千元机也能本地运行。在大模型不断向着大体量方向前进的同时，最近一段时间，人们在优化和部署方面也取得了成果。2 月 1 日，面壁智能联合清华 NLP 实验室在北京正式发布了旗舰端侧大模型「面壁 MiniCPM」。新一代大模型被称为「性能小钢炮」，直接拥抱终端部署，同时也具有同量级最强的多模态能力。面壁智能本次提出的 MiniCPM 2B 参数量仅有 20 亿，使用 1T token 的精选数据训练。这是一个参数量上与 2018 年 BERT 同级的模型，面壁智能在其之上实现了极致的性能优化与成本控制，让该模型可以「越

2/2/2024 5:13:00 PM

机器之心

中文OCR超越GPT-4V，参数量仅2B，面壁小钢炮拿出了第二弹

OpenAI后，大模型新增长曲线来了。大语言模型的效率，正在被这家「清华系」创业公司发展到新高度。从 ChatGPT 到 Sora，生成式 AI 技术遵从《苦涩的教训》、Scaling Law 和 Emerging properties 的预言一路走来，让我们已经看到了 AGI 的冰山一角，但技术的发展的方向还不尽于此。最近一段时间，科技公司大力投入生成式 AI，一系列新的概念正在出现：手机厂商认为「AI 手机」正在引领手机形态的第三次转变；PC 厂商认为「AI PC」可能会改变个人电脑的形态；而对于更多科技公司来

4/12/2024 7:51:00 PM

机器之心

用神经架构搜索给LLM瘦身，模型变小，准确度有时反而更高

用神经架构搜索给 LLM 瘦身，同等准确度可让 LLaMA2-7B 模型大小降 2 倍。大型语言模型（LLM）的一个主要特点是「大」，也因此其训练和部署成本都相当高，如何在保证 LLM 准确度的同时让其变小就成了非常重要且有价值的研究课题。对此，研究社区已经提出了多种多样的方法，比如剪枝、稀疏化、量化等，它们的效果也各不一样。近日，Intel Labs 发布了一项研究成果，宣称可使用神经架构搜索（NAS）高效地为 LLM 「瘦身」。他们基于 LLaMA2-7B 模型的实验表明，该技术不仅能降低模型大小，有时甚至还能

6/11/2024 2:40:00 PM

机器之心

面壁智能 MiniCPM 4 与 Intel 全面适配，实现 AI PC 2.2 倍长文本推理优化

相关资讯

2B参数性能超Mistral-7B：面壁智能多模态端侧模型开源

中文OCR超越GPT-4V，参数量仅2B，面壁小钢炮拿出了第二弹

用神经架构搜索给LLM瘦身，模型变小，准确度有时反而更高