MobileLLM

田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型

只用 24G 显存，消费级 GPU 就能搞定大模型了。上个月，Meta FAIR 田渊栋参与的一项研究广受好评，他们在论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10 亿以下参数小模型，主打在移动设备上运行 LLM。3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。他们合

3/8/2024 2:56:00 PM

机器之心

端侧最强，Meta田渊栋等人卷10亿以下参数小模型，LeCun：小技巧启动

Meta 推出 MobileLLM 系列，一款适用于移动设备上的「小」模型。「在移动设备上运行 LLM？可能需要 Meta 的一些技巧。」刚刚，图灵奖得主 Yann LeCun 在个人社交平台表示。他所宣传的这项研究来自 Meta 最新论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases 》，在众多作者中也有我们熟悉的来自 Meta FAIR 田渊栋。田渊栋表示：「我们的 MobileLLM 预

2/27/2024 3:02:00 PM

机器之心

资讯热榜

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画数据机器人大模型 Midjourney 开源 Meta 智能用户微软 GPT 学习 AI新词技术智能体马斯克 Gemini 图像 AI创作英伟达 Anthropic 训练论文代码 LLM 算法 Stable Diffusion 芯片腾讯苹果 AI for Science Claude 蛋白质 Agent 开发者生成式神经网络 xAI 机器学习 3D 研究人形机器人生成 AI视频百度工具计算 RAG 大语言模型 GPU 华为 Sora 具身智能 AI设计字节跳动搜索大型语言模型 AGI 场景深度学习视频生成预测视觉架构伟达 Transformer DeepMind 编程神器推荐 AI模型亚马逊特斯拉