AI在线 AI在线

清华新发现:AI大模型不止看“块头”,更要重视密度

近日,清华大学的研究团队在国际期刊《自然・机器智能》上发表了一项颇具启发性的研究成果,提出了 “能力密度” 这一新概念。 这项研究挑战了传统观点,认为在评估 AI 大模型的实力时,不应仅仅关注模型的参数数量,也就是 “块头”,而更应关注每个参数所展现的智能水平,即 “密度”。 传统上,AI 领域普遍认为模型越大,能力越强,这一 “规模法则” 在过去几年中推动了众多强大 AI 模型的涌现。

近日,清华大学的研究团队在国际期刊《自然・机器智能》上发表了一项颇具启发性的研究成果,提出了 “能力密度” 这一新概念。这项研究挑战了传统观点,认为在评估 AI 大模型的实力时,不应仅仅关注模型的参数数量,也就是 “块头”,而更应关注每个参数所展现的智能水平,即 “密度”。

传统上,AI 领域普遍认为模型越大,能力越强,这一 “规模法则” 在过去几年中推动了众多强大 AI 模型的涌现。然而,随着参数量的增加,模型训练和使用的成本也随之飙升,这给 AI 技术的产业化应用带来了限制。

大脑 大模型  AI

清华大学的研究显示,提升 AI 模型的 “能力密度” 并不能简单依赖于模型的压缩。研究人员指出,强行压缩大模型就像把一本厚厚的字典塞进小本子,结果往往是 “智力” 的损失。因此,研究者们强调,需要一个更先进的 “数据 + 算力 + 算法” 体系来打造出 “高密度” 的小模型。

研究还发现,过去几年发布的 51 个开源大模型中,“能力密度” 正以指数级的速度增长,大约每 3.5 个月翻一番。这意味着,如果现在需要一个体育馆大小的 “大脑” 来完成某个复杂任务,不久的将来只需一个客厅大小的 “大脑”,再过 3 个半月,这个 “大脑” 的体积可能会缩小到仅仅背包大小。

在此基础上,清华大学已经与 AI 企业面壁智能展开合作,推出了一系列 “高密度” 模型,这些模型已经成功应用于手机、汽车和智能家居等多个领域。研究团队认为,未来的 AI 模型将不再追求庞大,而是更加注重 “精炼” 和 “高效”。当芯片的计算能力与 AI 的智能密度相结合时,个人设备将拥有前所未有的智能,能更快速反应并更好地保护用户隐私。

相关资讯

清北团队进军具身智能,银河通用、灵初智能、星海图齐发力

具身智能创业如火如荼,技术路线是否收敛、以及数据来源的选择,都是大家一直关心的问题。 最近清华北大的团队密集发布了很多研究成果,我们或许可以从中分析出一些趋势。 23 年初成立的银河通用背后是前如布科技联创尹方鸣和姚腾洲、科学家是北大助理教授王鹤。
1/21/2025 11:00:00 AM
新闻助手

清华大学 2025 年将适度扩招本科生,重点培养“AI+”拔尖创新人才

据新华社报道,从清华大学获悉,为服务国家战略需求和社会发展需要,该校计划在 2025 年有序扩大本科招生规模,新增约 150 个本科生招生名额。同时,清华大学将成立新的本科通识书院,旨在培养人工智能与多学科交叉的复合型人才。据悉,该校新增本科生将进入新成立的书院学习。
3/2/2025 3:31:13 PM
远洋

清华团队开源大模型推理引擎“赤兔 Chitu”,实现 DeepSeek 推理成本降低一半、性能翻番

官方表示,当前开源的赤兔引擎在部署DeepSeek-R1-671B满血版时,在A800集群的测试中,相比部分国外开源框架,实现了GPU使用量减少50%的同时,推理速度的3.15倍提升。
3/14/2025 8:06:51 PM
清源