AI在线 AI在线

清华新发现:AI大模型不止看“块头”,更要重视密度

近日,清华大学的研究团队在国际期刊《自然・机器智能》上发表了一项颇具启发性的研究成果,提出了 “能力密度” 这一新概念。 这项研究挑战了传统观点,认为在评估 AI 大模型的实力时,不应仅仅关注模型的参数数量,也就是 “块头”,而更应关注每个参数所展现的智能水平,即 “密度”。 传统上,AI 领域普遍认为模型越大,能力越强,这一 “规模法则” 在过去几年中推动了众多强大 AI 模型的涌现。

近日,清华大学的研究团队在国际期刊《自然・机器智能》上发表了一项颇具启发性的研究成果,提出了 “能力密度” 这一新概念。这项研究挑战了传统观点,认为在评估 AI 大模型的实力时,不应仅仅关注模型的参数数量,也就是 “块头”,而更应关注每个参数所展现的智能水平,即 “密度”。

传统上,AI 领域普遍认为模型越大,能力越强,这一 “规模法则” 在过去几年中推动了众多强大 AI 模型的涌现。然而,随着参数量的增加,模型训练和使用的成本也随之飙升,这给 AI 技术的产业化应用带来了限制。

大脑 大模型  AI

清华大学的研究显示,提升 AI 模型的 “能力密度” 并不能简单依赖于模型的压缩。研究人员指出,强行压缩大模型就像把一本厚厚的字典塞进小本子,结果往往是 “智力” 的损失。因此,研究者们强调,需要一个更先进的 “数据 + 算力 + 算法” 体系来打造出 “高密度” 的小模型。

研究还发现,过去几年发布的 51 个开源大模型中,“能力密度” 正以指数级的速度增长,大约每 3.5 个月翻一番。这意味着,如果现在需要一个体育馆大小的 “大脑” 来完成某个复杂任务,不久的将来只需一个客厅大小的 “大脑”,再过 3 个半月,这个 “大脑” 的体积可能会缩小到仅仅背包大小。

在此基础上,清华大学已经与 AI 企业面壁智能展开合作,推出了一系列 “高密度” 模型,这些模型已经成功应用于手机、汽车和智能家居等多个领域。研究团队认为,未来的 AI 模型将不再追求庞大,而是更加注重 “精炼” 和 “高效”。当芯片的计算能力与 AI 的智能密度相结合时,个人设备将拥有前所未有的智能,能更快速反应并更好地保护用户隐私。

相关资讯