AI在线 AI在线

1.2

最强端侧开源 AI 模型 Zamba2-mini 登场：12 亿参数，4bit 量化下内存占用小于 700MB

最强端侧开源 AI 模型 Zamba2-mini 登场：12 亿参数，4bit 量化下内存占用小于 700MB
Zyphra 于 8 月 27 日发布博文，宣布推出 Zamba2-mini 1.2B 模型，共有 12 亿参数，声称是端侧 SOTA 小语言模型，在 4bit 量化下内存占用低于 700MB。AI在线注：SOTA 全称为 state-of-the-art，并不是特指某个具体的模型，而是指在该项研究任务中，目前最好 / 最先进的模型。Zamba2-mini 1.2B 虽然尺寸不大，但媲美包括谷歌 Gemma-2B、Huggingface 的 SmolLM-1.7B、苹果的 OpenELM-1.1B 和微软的 Phi
8/29/2024 3:29:44 PM
故渊
面壁智能开源“小钢炮”MiniCPM-S AI 模型，主打高效低能耗

面壁智能开源“小钢炮”MiniCPM-S AI 模型，主打高效低能耗
今天的 2024 世界人工智能大会（WAIC 2024）期间，面壁智能联合创始人、首席科学家刘知远宣布，开源主打高效低能耗的新一代“面壁小钢炮”MiniCPM-S 模型，同时发布助力开发者一键打造大模型 SuperApp 的全栈工具集 MobileCPM。据介绍，面壁 2024 年发布了具备 GPT-3 同等性能但参数仅为 24 亿的 MiniCPM-2.4B，知识密度提高了约 86 倍。面壁方面更称，这“并不是极限”—— 其持续优化 Scaling Law 使模型知识密度不断提升，可不断训练出计算更加高效、表现更
7/5/2024 10:08:20 PM
清源