AI在线 AI在线

揭开大模型的秘密!那些 “思考词” 背后藏着惊人的信息量

近日,来自中国人民大学、上海人工智能实验室、伦敦大学学院和大连理工大学的研究团队揭示了大模型推理过程中的一个重要发现:当模型在思考时,所使用的 “思考词” 实际上反映了其内部信息量的显著提升。 这一研究成果通过信息论的方法,为我们更好地理解人工智能的推理机制提供了新的视角。 论文地址:,会输出一些看似人类化的语言,比如 “嗯……”、“让我想想……” 或 “因此……”。

近日,来自中国人民大学、上海人工智能实验室、伦敦大学学院和大连理工大学的研究团队揭示了大模型推理过程中的一个重要发现:当模型在思考时,所使用的 “思考词” 实际上反映了其内部信息量的显著提升。这一研究成果通过信息论的方法,为我们更好地理解人工智能的推理机制提供了新的视角。

image.png

论文地址:https://arxiv.org/abs/2506.02867

你或许见过大模型在解答问题时,会输出一些看似人类化的语言,比如 “嗯……”、“让我想想……” 或 “因此……”。这些 “思考词” 是简单的表面装饰,还是代表着模型真正的思考过程?这个问题困扰着许多研究者。如今的研究表明,这些词汇并非仅仅是为了模仿人类,而是关键的 “信息高峰”,显示出模型在特定时刻的思维状态。

人工智能大脑 大模型 (2)

图源备注:图片由AI生成,图片授权服务商Midjourney

研究团队对多种大模型进行追踪观察,测量它们在推理过程中的互信息变化。结果发现,模型在某些时刻的互信息值会急剧上升,形成明显的 “互信息峰值”。这意味着,在这些关键时刻,模型内部包含了指向正确答案的关键信息。这一现象在经过推理强化训练的模型中表现得尤为明显,而非推理模型则显得较为平淡。

image.png

更为有趣的是,当研究人员将这些互信息高峰时刻的表征转化为人类可理解的语言时,发现这些时刻正好对应了那些频繁出现的 “思考词”。例如,在进行复杂推理时,模型往往会输出 “让我想想”、“所以我必须……” 等表述。这些 “思考词” 不再是可有可无的点缀,而是模型推理过程中的关键路标,推动着其思考的进展。

基于这一发现,研究者们提出了两种无需额外训练就能提升大模型推理能力的方法。这意味着,未来的 AI 可以在保留现有知识的基础上,通过合理利用这些信息高峰,显著提升其推理性能。这一研究不仅推动了大模型的理论研究,也为实际应用提供了新的思路。

相关资讯

中国电信发布“复杂推理大模型”TeleAI-t1-preview:能解《九章算术》题目

据介绍,TeleAI-t1-preview 使用了强化学习训练方法,通过引入探索、反思等思考范式,大幅提升模型在逻辑推理、数学推导等复杂问题的准确性。
1/25/2025 5:57:55 PM
清源

消息称阿里引入顶级人工智能科学家 或将加码AI To C业务

近期,阿里巴巴在AI领域迎来了一位重量级人物。 据业内人士透露,一位全球顶级人工智能科学家已于近期正式入职阿里巴巴,未来或将专注于AI To C业务的基础大模型研发与应用。 这位科学家在工业界和学术界均拥有超过20年的经验,尤其在多模态AI领域成果丰硕,曾主导发表过上百篇大模型顶级论文。
2/4/2025 2:08:00 PM
AI在线

迅雷宣布为 AI 开发者提供大模型批量下载加速服务,当前可免费使用

迅雷今日宣布,将针对下载AI大模型及数据集文件的迅雷用户提供批量下载服务,以解决长期困扰AI开发者的“下载慢、耗时长”问题。
2/17/2025 7:07:17 PM
清源
  • 1