耗时3个多月、总结过往5年,马毅曹颖沈向洋撰文智能两大准则

在深度网络和人工智能复兴十年后,本文提出了一个理论框架,并提出了两个基本准则——简洁性和自洽性,视它们为人工智能的基石。

耗时三个多月,夜以继日撰写,马毅教授的综述文章《 On the Principles of Parsimony and Self-Consistency for the Emergence of Intelligence 》终于来了!马毅教授默示:这篇文章把过去五年自己的工作以及智能七十多年的发展有机结合起来。并默示自己一生从未在一篇文章上花这么多精力和时间。希望这篇文章能对现在的研讨方向和品味产生正面的影响。

图片

这篇论文由马毅教授联合神经生物学家曹颖、较量争论机大牛沈向洋共同撰写。

图片

论文地址:https://arxiv.org/pdf/2207.04630.pdf本文旨在提供整体立场和观点,而不是从技术上证明每一项主张的合理性。研讨者希望这篇论文能给大家理出智能的起源以及较量争论原理的基本轮廓和框架,让大家认识到这种理论联系实践的可能性。他们也希望通过这篇文章,对目前的研讨方向和风气在一定程度上起到正本清源的作用 。

图片

马毅教授默示:「在这篇论文中,我们不再区分人工智能或当然智能。如果任何事物 / 任何人是智能的,其应该遵循相同的准则和机制。」本文主要分 4 个章节,第 1 节主要介绍研讨背景和动机;第 2 节使用可视化数据建模作为具体示例来提出两个准则——简洁和自洽,并说明如何将它们实例化为可较量争论的目标、架构和零碎;第 3 节研讨者推测这两个准则会使得通用进修引擎用于更广泛的感知和决策任务;最后,第 4 节研讨者讨论了所提出准则的多层含义及其与神经科学、数学和高级智能的联系。下面我们来看看这篇论文的具体内容。智能的两个基本准则:简洁和自洽本节中,研讨者以视觉表象(visual imagery)数据建模为例,从简洁性和自洽性的第一准则推导出了紧缩闭环转录框架。过去十年,人工智能的进步在很大程度上依赖于使用蛮力工程方法训练黑盒模型,例如深度神经网络可以说是使用蛮力方法训练而成。虽然功能模块化可能出现在训练中,但进修到的特性默示在很大程度上仍然是隐藏的、潜在的、并且是难以解释的。我们都了解,端到端黑盒模型这种昂贵的蛮力训练不仅导致模型规模不断增长和高昂的数据 / 较量争论成本,在实践中也伴随着许多问题:由于神经崩溃导致最终进修表征缺乏丰富度;由于模式崩溃导致训练缺乏稳定性;缺乏对灾难性遗忘的适应性和敏感性;缺乏对变形或对抗性攻击的鲁棒性。我们假设在当前深度网络和人工智能实践中出现这些问题的根本原因之一是对智能零碎的功能和组织准则缺乏零碎和综合的理解。例如,在实践中,训练用于分类的判别模型和用于采样的天生模型在很大程度上是分开的。此类模型通常是开环零碎,需要通过监视或自监视进行端到端的训练。在控制论中,研讨者长期遵循的一个准则是,这种开环零碎不能自动纠正预测中的错误,并且不能适应环境的变化。研讨者将闭环反馈引入受控零碎,以便零碎能够学会纠正其错误。正如本文所讨论的,在这里可以得出类似的经验:一旦将判别模型和天生模型组合在一起形成一个完整的闭环零碎,进修就可以变得自主(无需外部监视),并且更高效、稳定且适应性强。要理解智能零碎中可能需要的功能组件,例如判别式或天生式,研讨者需要从准则性且统一的角度来理解智能。本文认为,简洁和自洽两个基本准则支配着任何智能零碎的功能和设计,无论是人工的还是当然的。这两个准则分别旨在回答以下两个关于进修的基本问题: 1. 进修什么:从数据中进修的目标是什么,如何衡量? 2. 如何进修:我们如何通过高效和有效的较量争论来实现这样的目标?第一个问题的答案属于信息 / 编码理论领域,该理论研讨如何准确量化和测量数据的信息,然后寻求信息的最紧凑默示。一旦进修的目标明确并确定,第二个问题的答案当然会落入控制 / 博弈论领域,该领域提供了一个普遍有效的较量争论框架,即闭环反馈零碎,用于一致地实现可测量目标,如下图 1 所示。

图片

简洁智能零碎需要这一准则的一个根本原因是:没有简洁准则,智能将是不可能的!现在我们面临的一个问题是智能零碎如何体现简洁准则。从理论上讲,智能零碎可以使用世界上任何理想的布局化模型系列,只要它们简单且足够表达以模拟现实世界感官数据中的有用布局。零碎应该能够准确有效地评估进修模型的好坏,并且使用的度量应该是基本的、通用的、易于较量争论和优化的。该研讨使用了可视化数据建模的激励性和直观示例。如下图所示,x 默示输入的传感数据,比如一个图像,用 z 来默示它的内部默示。传感数据样本 x ∈ R^D 通常是相当高维的(数百万像素),但具有极低维的内在布局。在不损失一般性的情况下,我们可以假设它分布在一些低维子流形上,如图 2 所示。

图片

对于 LDR 模型系列,有一种当然的内在简洁度量。直观地说,给定一个 LDR,我们可以较量争论所有子空间上的所有特性所跨越的总体积以及每个类别的特性所跨越的体积之和。然后这两个体积之间的比率给出了一个当然的衡量标准,来表明 LDR 模型性能:比率越大越好。图 3 展示了一个示例,其中特性分布在两个子空间 S1 和 S2 上。

图片

左侧和右侧的模型具有相同的内在复杂性。显然,左侧的配置是首选,因为不同类别的特性是独立且正交的——它们的外部表征将是最稀疏的。自洽单凭简洁准则并不能保证模型能够从感知到的外部世界数据中获取所有重要信息。例如,通过最小化交叉熵,将每个类映射到一维的 one-hot 向量,可以被视为一种简洁的形式。这可能会进修到一个好的分类器,但进修到的特性会崩溃为单例(singleton),被称为神经崩溃。这样进修到的特性将不再包含足够的信息来重新天生原始数据。如果特性空间维数过低,则进修的模型对数据拟合不足;如果过高,模型可能会过度拟合。更一般地说,该研讨认为感知不同于特定任务的执行,感知的目标是进修感知到的一切可预测的东西,即智能零碎应该能够从紧缩默示中重新天生观测数据的分布,使其达到自身内部无法区分的程度。为了控制进修完全忠于表征过程,该研讨引入了第二个准则:自洽准则,即自主智能零碎通过最小化被观测对象与重新天生对象之间的内部差异,来寻求外部世界观测的最自洽模型。不过自洽和简洁是高度互补的,应该一起使用。仅靠自洽准则并不能确保紧缩或效率方面的增益。下图为一个闭环反馈零碎,整个过程如图 6 所示。这个过程可以在编码器 f 和解码器 g 之间重复,产生一种当然的追逐和逃避游戏。

图片

下图为通过紧缩闭环转录的增量进修:

图片

请注意,该框架的基本构想是在完全无监视的设置中工作。因此,即使出于示范目的,该研讨提出了假设类信息可用的准则,但该框架可以当然地扩展到完全无监视的设置,其中没有为任何数据样本提供类信息。在这种情况下,只需将每个新样本及其增强视为(15)中的一个新类。这可以被视为一种自监视。结合自批评游戏机制,可以轻松进修紧缩闭环转录。如图 8 所示,如此进修的自动编码不仅表现出良好的样本一致性,而且进修到的特性还表现出清晰且有意义的局部低维(薄)布局。更令人惊讶的是,即使在训练期间根本没有提供任何类信息,子空间或特性相关的块对角布局也开始出现在为类进修的特性中(图 9)。因此,进修到的特性布局类似于在灵长类动物大脑中观察到的类别选择区域。

图片

图片

在剩下的两节中,该研讨对紧缩闭环转录框架的普遍性提出了更多的推测性想法,并将其扩展到 3D 视觉和强化进修(第 3 节),预测其对神经科学、数学和更高层次的智能影响(第 4 节)。通用进修引擎3D 感知和决策被认为是自主智能零碎的两个关键模块(LeCun,2022)。该研讨推测,在这两个准则的指导下,研讨者如何能够发展不同的观点和新的见解来理解这些具有挑战性的任务。感知为紧缩闭环转录?更准确地说,世界上物体的形状、外观甚至动力学的 3D 表征应该是我们大脑内部开发的最紧凑和布局化的默示,以一致地解释所有感知到的视觉观察。如果是这样,那么这两个准则就表明,一个紧凑和布局化的 3D 表征就是我们要寻找的内部模型。这意味着我们可以并且应该在一个闭环较量争论框架内统一较量争论机视觉和较量争论机图形,如图 10 所示。

图片

智能体从感知结果中进修或从其行动中获得奖励的整个过程形成了另一个更高级别的闭环(图 11)。

图片

总而言之,对于大规模 RL 任务,正是这两个准则使得感知、进修和行动的闭环零碎成为真正高效和有效的进修引擎。有了这样的引擎,如果环境和进修任务中确实存在这样的布局,自主智能体就能够发现低维布局,并最终在进修的布局足够好、泛化良好时智能地行动!更多内容,请阅读原论文。参考链接:https://weibo.com/u/3235040884?topnav=1&wvr=6&topsug=1

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/hao-shi-3-ge-duo-yue-zong-jie-guo-wang-5-nian-ma-yi-cao/

(0)
上一篇 2022年 7月 16日 上午11:54
下一篇 2022年 7月 16日 下午12:06

相关推荐

  • 耶鲁大学教授亲自授课,教你EM算法的全局收敛

    Online Seminar on Mathematical Foundations of Data Science (Math for DS) [1]是在线的、每周举办的系列研讨会。研讨会旨在讨论数据科学、机器学习、统计以及优化背后的数学原理,邀请了北美诸多知名学者进行中心演讲。『运筹OR帷幄』和『机器之心』作为合作媒体,将在B站发布往期的回放视频。本期,受邀佳宾将为我们带来中心为“Global Convergence of EM?”的演讲。

    2021年 4月 8日
  • 大模型时代还不理解自注意力?这篇文章教你从头写代码实现

    自注意力是 LLM 的一大核心组件。对大模型及相关应用开发者来说,理解自注意力非常重要。近日,Ahead of AI 杂志运营者、机器学习和 AI 研究者 Sebastian Raschka 发布了一篇文章,介绍并用代码从头实现了 LLM 中的自注意力、多头注意力、交叉注意力和因果注意力。太长不看版这篇文章将介绍 Transformer 架构以及 GPT-4 和 Llama 等大型语言模型(LLM)中利用的自注意力体制。自注意力等相关体制是 LLM 的核心组件,因此如果想要理解 LLM,就需要理解它们。不仅如此,这

    2024年 2月 16日
  • “中关村智用人工智能同伴设计”报名已开放,八大效劳助力AI落地

    中关村智用人工智能同伴设计”(简称设计)报名已于2021年3月1日正式开放(报名链接:http://aizgc.org.cn/#/zhiyong/friend),并得到了人工智能财产各界的关注。某AI企业结合创始人李先生谈起同伴设计来满脸兴奋,据他介绍:同伴设计给他的创业带来了新的曙光,此前他的公司虽然拥有先进的手艺,但在寻找落地场景的道路上却一直坎坷,人脸识别等常识性使用场景已经是一片红海,想寻找手艺落地的蓝海场景,却又因为团队成员大都是信息手艺出身,对其他行业了解不多,既不知道哪些行业可能是潜在用户,即使知道,

    2021年 3月 29日
  • 深度进修如炼丹,你有哪些科学做法?网友:Random seed=42结果好

    调参的苦与泪,还有那些「科学的做法」。

    2021年 12月 21日
  • 时空智能新赛道是怎样炼成的?千寻地位引领自立技巧创新突破

    2020年10月,华为推出Mate 40系列旗舰手机,在全球范围内首次完成车道级导航功能,及时显示用户所在车道地位。2020年11月,小鹏汽车智能轿跑P7,通过OTA升级,在深圳、重庆、杭州等高速公路上,可完成NGP高速自立导航驾驶。2020年初,武汉火神山医院在建设中,一次性完成放线测量,精确标绘,与病魔赛跑,向世界展示“十几天建一所医院”的壮举。这一年,人们离自动驾驶更近了,手机导航有了不同的体验,战疫的身影中有了科技力量。在这背后,是时空智能这项中国自立研发的技巧在消费级场景全方位渗透。作为千寻地位开创的硬核

    2021年 5月 27日
  • 斯坦福新书《决议算法》,694页PDF收费下载

    这本书体系引见了不详情性状况下的决议算法,虽然尚未正式出版,但电子版已经开放下载(并将永远开放)。

    2021年 2月 3日
  • DataWorks数据建模 – 一揽子数据模型管理解决方案

    作者:DataWorks产品经理 刘天鸢在当下的商业环境中,正确的数据管理策略对于数据增值是非常重要的。据统计,企业的数据一直都在以每年50%的速度增长,因此企业数据管理与整合的难度就不断加大了。DataWorks一直以来都致力于成为用户更方便、更快捷地从事数据开发与数据管理的好帮手。此次发布的数据建模,是对已有数据管理领域能力的补齐,为用户带来了在数据开发前,实施事前管理的能力。一、为什么要数据建模引用《大数据之路:阿里巴巴大数据实践》中的内容:“如果把数据看作图书馆里的书,我们希望它们在书架上分门别

    2021年 8月 25日
  • AMD Ryzen 5000移动版曝光,功能大涨30%,明年1月或发布

    新呈现的型号 Ryzen 9 5900HX,单核功能要比现在的旗舰级 4900HS 快 30% 左右,还没有算超频。

    2020年 12月 9日
  • 光彩联手千寻位子、高德,V40实行车道级导航

    2021年1月22日,光彩发布V40手机,搭载千寻位子时空智能办事,让智能手机这样的小型设备的卫星定位精度带来突破性的变化,定位精度达到亚米级(小于1米),用户通过高德舆图在手机上就能实行车道级导航。借助千寻位子建设的环球最大规模卫星地基增强站网,光彩手机可以7×24小时在全国范围内接收卫星定位高精度修正的时空智能办事,实行高精度定位。该办事可靠性超过99.9%。千寻位子是环球领先的时空智能基础设施公司,成立于2015年8月。公司鉴于北斗卫星系统(兼容GPS、GLONASS、Galileo)基础定位数据

    2021年 1月 26日
  • 是时候进修机械进修零碎安排了!斯坦福CS 329S开课,课件、笔记同步更新

    这是一门新的课程——在进修了算法、框架等内容后,是时候深入了解一下「机械进修零碎安排」了!

    2021年 1月 26日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注