信息论

揭开大模型的秘密！那些 “思考词” 背后藏着惊人的信息量

揭开大模型的秘密！那些 “思考词” 背后藏着惊人的信息量

近日，来自中国人民大学、上海人工智能实验室、伦敦大学学院和大连理工大学的研究团队揭示了大模型推理过程中的一个重要发现:当模型在思考时，所使用的 “思考词” 实际上反映了其内部信息量的显著提升。这一研究成果通过信息论的方法，为我们更好地理解人工智能的推理机制提供了新的视角。论文地址：，会输出一些看似人类化的语言，比如 “嗯……”、“让我想想……” 或 “因此……”。

7/5/2025 7:46:41 AM

AI在线

1

资讯热榜

全新开源的DeepSeek-OCR，可能是最近最惊喜的模型！ AI 模型“炒股”比拼!DeepSeek 收益超14%，Gemini2.5Pro 惨亏四成具身智能学界业界思想「惊人的统一」？美团在IROS开了个学术年会 OpenAI强化Sora 2保护政策，确保艺人声音与肖像权不被侵犯刚刚，ChatGPT终于可以走遍整个互联网了！OpenAI深夜炸街：原生ChatGPT集成、即时理解、主动执行，浏览器赛道鲨疯了通义千问再放大招！Qwen3-VL 家族新增 2B 与 32B 模型，开源矩阵全面升级 OpenAI首款ChatGPT浏览器发布！现在就能免费下载使用告别抽卡！Vidu Q2多图参考生视频功能重磅上线

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画机器人数据大模型 Midjourney 开源 Meta 智能微软用户 AI新词 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法芯片腾讯 AI for Science Stable Diffusion 苹果 Agent Claude 蛋白质开发者生成式神经网络 xAI 机器学习 3D 人形机器人研究 AI视频生成 RAG 大语言模型百度具身智能 Sora 工具 GPU 华为计算字节跳动 AI设计搜索大型语言模型 AGI 视频生成场景深度学习 DeepMind 架构视觉生成式AI 预测 Transformer 编程 AI模型伟达特斯拉 Copilot