鄂维南

鄂维南院士领衔新作：大模型不止有RAG、参数存储，还有第3种记忆

2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来，大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而， LLM 的训练和推理成本高昂，人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发，他们通过为 LLM 配备显式记忆（一种比模型参数和 RAG 更便宜的记忆格式）来降低这一成本。从概念上讲，由于其大部分知识都外化为显式记忆，因而 LLM 可以享受更少的参数大小、训练成本和推理成本。论文地址：

7/10/2024 11:40:00 AM

机器之心

资讯热榜

Microsoft Releases 700 Real AI Cases to Explore New Intelligent Work Models 微软发布 700 个真实 AI 案例，探索智能化工作新模式 Li Hang, head of ByteDance AI Lab, resigns; Seed team enters adjustment period Former DeepSeek executive secretly starts new AI Agent project, already backed by top VC 消息称 OpenAI 已同谷歌敲定一份云 AI 算力交易，减少对微软依赖 OpenAI年化收入突破100亿美元过去一年亏损约50亿美元 “程序员炸锅”！Claude一夜撤离 Windsurf，OpenAI 收购遭"精准狙击" OpenAI Upgrades ChatGPT Search Functionality to Provide More Precise and Smarter Responses

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌数据机器人大模型 Midjourney 用户智能开源微软 GPT Meta 学习图像技术 AI创作 Gemini 论文马斯克 Stable Diffusion 算法英伟达代码 Anthropic 芯片开发者生成式蛋白质腾讯神经网络训练 3D 研究生成智能体苹果计算机器学习 Sora Claude AI设计 AI for Science GPU AI视频人形机器人搜索华为百度场景大语言模型 xAI 预测伟达深度学习字节跳动 LLM Transformer Agent 工具模态神器推荐具身智能文本视觉 LLaMA 算力 Copilot 驾驶大型语言模型 API RAG 应用架构