灾难性过度训练

预训练不等于更强大，研究揭示大语言模型的 “灾难性过度训练” 现象

近日，来自卡内基梅隆大学、斯坦福大学、哈佛大学和普林斯顿大学的研究人员揭示了一个关于大语言模型（LLMs）训练的新发现:并不是预训练的数据越多，模型的表现就越好。相反，他们指出，过度的预训练可能会导致模型性能下降，出现一种被称为 “灾难性过度训练” 的现象。在一项研究中，研究者们对 OLMo-1B 模型进行了比较，分别对其进行了2.3万亿和3万亿个标记的训练。

4/14/2025 12:01:17 PM

AI在线

资讯热榜

免费！让图片放大不失真的位图转矢量图神器 Tmttool AI应用新纪元：2025中国AI应用排行榜榜单揭晓丨2025年1月 GGUF 是什么？一文看懂大模型里最火的模型格式 Sora、可灵、即梦哪家强？AI视频软件深度测评！免注册免费用！17种AI绘图模型一站式体验平台LMArena 可灵、即梦、海螺、Vidu哪家强？4大AI视频神器深度测评后悔没早发现！教你用谷歌Gemini生成精美PPT（附提示词） 2024年12月AI微信公众号排行榜

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT 谷歌 DeepSeek AI绘画大模型机器人数据 AI新词 Midjourney 开源 Meta 微软智能用户 GPT 学习智能体技术 Gemini 英伟达马斯克 Anthropic 图像 AI创作训练 LLM 论文代码苹果 AI for Science 算法 Agent 腾讯 Claude 芯片 Stable Diffusion 具身智能蛋白质 xAI 开发者人形机器人生成式神经网络机器学习 3D AI视频 RAG 大语言模型 Sora 百度研究字节跳动 GPU 生成工具华为 AGI 计算大型语言模型 AI设计生成式AI 搜索视频生成亚马逊 AI模型 DeepMind 特斯拉场景深度学习 Transformer 架构 Copilot MCP 编程视觉