AI在线 AI在线

微软发布 Phi-4-mini-flash-reasoning 端侧 AI 模型:10 倍吞吐量,推理能力升级

AI在线 7 月 11 日消息,科技媒体 NeoWin 昨日(7 月 10 日)发布博文,报道称微软推出 Phi-4-mini-flash-reasoning 小语言模型,重点提升端侧 AI 模型的数学和逻辑推理能力。 Phi-4-mini-flash-reasoning 的主要优势在于,它能够在边缘设备、移动应用和嵌入式系统等资源不足的场景下,引入先进的推理功能。 在架构方面,Phi-4-mini-flash-reasoning 创新引入了 SambaY 架构,而该架构的一大亮点,就是名为 Gated Memory Unit(GMU)的组件,它能够高效地在模型的内部之间共享信息,从而提高模型的效率。

AI在线 7 月 11 日消息,科技媒体 NeoWin 昨日(7 月 10 日)发布博文,报道称微软推出 Phi-4-mini-flash-reasoning 小语言模型,重点提升端侧 AI 模型的数学和逻辑推理能力。

Phi-4-mini-flash-reasoning 的主要优势在于,它能够在边缘设备、移动应用和嵌入式系统等资源不足的场景下,引入先进的推理功能。

微软发布 Phi-4-mini-flash-reasoning 端侧 AI 模型:10 倍吞吐量,推理能力升级

在架构方面,Phi-4-mini-flash-reasoning 创新引入了 SambaY 架构,而该架构的一大亮点,就是名为 Gated Memory Unit(GMU)的组件,它能够高效地在模型的内部之间共享信息,从而提高模型的效率。

这些改进让模型能够更快地生成答案和完成任务,即使面对非常长的输入也能应对自如,Phi 模型还能处理大量数据,理解非常长的文本或对话。

微软发布 Phi-4-mini-flash-reasoning 端侧 AI 模型:10 倍吞吐量,推理能力升级

在性能方面,相比较其它 Phi 模型,Phi-4-mini-flash-reasoning 的吞吐量最高提升 10 倍,这意味着在给定的时间内,Phi-4-mini-flash-reasoning 可以完成更多的工作。

它可以在相同的时间内处理 10 倍多的请求或生成 10 倍多的文本,这对于实际应用来说是一个巨大的改进,此外,延迟也降低至其它 Phi 模型的 1/2~1/3。AI在线附上相关性能数据如下:

微软发布 Phi-4-mini-flash-reasoning 端侧 AI 模型:10 倍吞吐量,推理能力升级

微软发布 Phi-4-mini-flash-reasoning 端侧 AI 模型:10 倍吞吐量,推理能力升级

微软发布 Phi-4-mini-flash-reasoning 端侧 AI 模型:10 倍吞吐量,推理能力升级

Phi-4-mini-flash-reasoning 新型模型已在 Azure AI Foundry、NVIDIA API Catalog 和 Hugging Face 上线。

相关资讯

iPhone 上本地每秒生成 12 个 tokens,微软发布 phi-3-mini 模型:38 亿参数

微软研究院近日发布技术报告,公布了 Phi-3 系列 AI 模型,共有 mini(38 亿参数)、small(70 亿参数)和 medium(140 亿参数)三个版本。微软表示拥有 38 亿参数的 phi-3-mini 通过 3.3 万亿个 tokens 上训练,其基准跑分性能超出 Mixtral 8x7B 和 GPT-3.5。微软表示 phi-3-mini 模型可以部署在手机等设备上,在 27 亿参数的 Phi-2 模型上,进一步整合了严格过滤的网络数据和合成数据。微软也坦言 phi-3-mini 模型虽然通过优
4/23/2024 1:53:17 PM
故渊

微软发布 Phi-4 多模态与迷你模型,语音视觉文本处理再升级

近日,微软进一步扩展了 Phi-4家族,推出了两款新模型:Phi-4多模态(Phi-4-multimodal)和 Phi-4迷你(Phi-4-mini),这两款模型的亮相,无疑将为各类 AI 应用提供更加强大的处理能力。 Phi-4多模态模型是微软首款集成语音、视觉和文本处理的统一架构模型,拥有5600万参数。 这款模型在多项基准测试中表现优异,超越了目前市场上的许多竞争对手,例如谷歌的 Gemini2.0系列。
2/27/2025 9:38:00 AM
AI在线

微软开源 140 亿参数小语言 AI 模型 Phi-4,性能比肩 GPT-4o Mini

在 2024 年 12 月 12 日发布后,微软昨日(1 月 8 日)在 Hugging Face 平台上,开源小语言模型 Phi-4,感兴趣的开发者和尝鲜者可以下载、微调和部署该 AI 模型。
1/9/2025 1:55:32 PM
故渊
  • 1