Adam-mini

Adam有了mini版：内存占用少一半，吞吐量提升50%

在训练大型语言模型（LLM）时，Adam(W) 基本上已经成为了人们默认使用的优化器。Adam 尽管性能优异，但使用成本很高。具体来说，Adam 需要内存来保存其优化器状态：一阶动量 m 和二阶动量 v^2。这总共需要模型大小至少 2 倍的内存。这样的内存消耗已经成为了 LLM 训练的一大主要负担。举个例子，要训练一个 7B 模型，只是 Adam 就需要每张卡有大约 56 GB 来保存 m 和 v；而如果再加上梯度，则总共需要 86 GB。即使使用最先进的 A100-80GB，成本也过高了。为了支持这样的高内存算法

7/8/2024 3:44:00 PM

机器之心

资讯热榜

Cursor宣布免费向学生开放一年Pro会员，助力AI编程教育大BUG！非学生用户竟能白嫖谷歌顶级AI全家桶白嫖攻略速看保姆级教程：零代码基础也能微调Qwen3，并本地部署 Midjourney V7推出全新功能 “Omni-Reference”，让图像生成更灵活 GPT-4o生成的烂自拍，反而比我们更真实尤雨溪：让 AI 更好的理解 Vue、Vite 英伟达全新开源自动语音识别模型 Parakeet-TDT-0.6B-V2，语音转录能力再提升应对网络威胁利器！Cisco与Meta推出Foundation-sec-8B LLM

标签云

人工智能 OpenAI AI AIGC ChatGPT DeepSeek AI绘画模型数据机器人谷歌大模型 Midjourney 智能用户开源学习微软 GPT Meta 图像 AI创作技术论文 Gemini 马斯克 Stable Diffusion 算法芯片蛋白质代码生成式英伟达腾讯神经网络研究 Anthropic 计算 3D Sora AI设计机器学习 AI for Science 开发者 GPU AI视频场景华为苹果人形机器人预测百度伟达 Transformer 深度学习 Claude xAI 搜索大语言模型模态字节跳动驾驶具身智能神器推荐文本训练 LLaMA Copilot 视觉算力安全应用视频生成干货合集智能体大型语言模型亚马逊科技 AGI DeepMind