灾难性过度训练

预训练不等于更强大，研究揭示大语言模型的 “灾难性过度训练” 现象

近日，来自卡内基梅隆大学、斯坦福大学、哈佛大学和普林斯顿大学的研究人员揭示了一个关于大语言模型（LLMs）训练的新发现:并不是预训练的数据越多，模型的表现就越好。相反，他们指出，过度的预训练可能会导致模型性能下降，出现一种被称为 “灾难性过度训练” 的现象。在一项研究中，研究者们对 OLMo-1B 模型进行了比较，分别对其进行了2.3万亿和3万亿个标记的训练。

4/14/2025 12:01:17 PM

AI在线

资讯热榜

单张4090跑到30fps，范浩强团队让VLA实时跑起来了最具争议性研究：大模型中间层输出可 100% 反推原始输入奥特曼回应一切：重组后仍需微软支持，不相信OpenAI的欢迎做空 OpenAI 或将于明年上市，估值可达万亿！ OpenAI更新ChatGPT规则：10月29日起禁止医疗、法律与财务建议「套壳」的最高境界：OpenAI揭秘Atlas浏览器架构OWL 亚马逊股价暴涨 13%，人工智能推动云计算迎来多年最快增长 Bevel 获得 1000 万美元 A 轮融资，致力于 AI 健康助手创新

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画大模型机器人数据 Midjourney 开源 Meta AI新词微软智能用户 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法 Agent AI for Science 芯片苹果 Claude 腾讯 Stable Diffusion 蛋白质开发者生成式神经网络 xAI 机器学习 3D RAG 人形机器人 AI视频研究大语言模型生成具身智能 Sora 工具 GPU 百度华为计算字节跳动 AI设计大型语言模型 AGI 搜索视频生成场景深度学习架构生成式AI DeepMind 编程视觉 Transformer AI模型预测亚马逊特斯拉 MCP