判断式or天生式：哪一个才能代表视觉理解的未来？

一直以来，视觉体系方面的许多基础工作都以一种非常简单的方式实现：向动物揭示图象，测量其神经元的反应，揭示另一个，然后重复。这样的要领建立在一种假设之上：视觉处置可以理解为一种死记硬背的输入输出转换。科学家们钻研细胞时，好像它们只是根据图象中存在的视觉特征做出反应，然后可以应用这些反应来区别分歧的图象。虽然这类对视觉体系的理解在很多方面都取得了丰硕的成果，但它总是让一些钻研者产生怀疑。一部分人认为，视觉体系的解剖结构和动力学钻研结果表明，它不是简单地以「自下而上」的方式做出反应。相反，它能够会基于一个反映世界运行模式的模型天生一些反应。这类「判断式（discriminative）」与「天生式（generative）」视觉要领之间的争论已经持续了数十年。尽管这两种模型都旨在解释视觉处置过程，但这两种要领源于分歧的哲学和数学传统。这类状况导致的后果是，分歧的钻研职员只应用他们自己喜欢的要领，而不是合作，因此在这两种范式之间产生了一条鸿沟。近年来，较量争论机视觉和较量争论神经科学的进步都表明了这类二元划分要领的局限性，推动了更广泛的视觉处置建模的发展。这就需要双方的代表走到一起，理清各自的观点以及双方的共识和分歧所在。2021 年 9 月，在虚拟认知较量争论神经科学 (CCN) 会议的「天生对抗协作（GAC）」开幕举动上，钻研职员提交了关于这一主题的提案。「天生对抗协作」是 CCN 在 2020 年发起的一项流程，旨在让钻研者明确、有效地提出科学上的分歧。钻研职员可以向 CCN 提交一个有争议的主题提案，少数提案会被选中，进入 GAC 举动的讨论范围。次年，GAC 组织者会提交一份立场论文，列出这些主题范围的进展计划，并在当年的会议上揭示该进展。2021 年的 GAC 有关于视觉体系中的天生和判断模型的主题，由 11 名钻研职员组成了一个团队。有些人应用判断要领，有些人应用天生要领，但所有人都对探索两者之间的交集感兴趣。根据他们的提议，这个举动旨在确定「我们的知识遗产是否过度地分化了我们对视觉算法的直觉，使我们陷入了错误的二分法之中。」「简单快速」与「灵活慢速」为了构建辩论框架，首先有必要知道什么是判断体系和天生体系。但也许这就是第一个分歧点。在统计范围，判断模型和天生模型有简单的定义。判断模型是在给定观察结果的情况下较量争论潜在变量或潜在原因的概率的模型。就视觉处置而言，这些潜在变量就是世界上的物体，而观察结果就是撞击视网膜的光。例如，模型会对图象中的像素进行一些较量争论，以确定哪些对象最有能够存在。相反，天生模型是较量争论潜在变量和观察结果的联合概率。这需要知道某些物体在一般情况下存在的能够性，而不仅仅是它们在给定图象中的能够性。虽然这些分歧概率分布的较量争论在技术上完全分歧，但当这些较量争论映射到大脑时，两者之间的界限开始变得模糊。「如果你仔细观察，一切都会崩溃，」哥伦比亚大学神经科学家、GAC 发言人 Niko Kriegeskorte 说。该范围缺乏对天生模型和判断模型的严格定义，神经科学钻研文献中出现的内容则更好地被描述为一组松散的关联。代表判断一面的模型往往是前馈的、简单的和快速的。例如，深度前馈卷积神经网络就是判断处置的典范。这些模型通常以有监督的方式进行训练：它们进修将图象映射到标签，例如进修对猫和狗的图象进行分类。天生的模型可以接收新图象并快速标记它。像这类网络这样的判断体系通常以自下而上的方式工作，形成对其直接输入的简单响应。由于它们的训练方式，它们也被认为专门用于特定任务，例如物体识别。相比之下，天生模型速度很慢，但它们也更灵活、严谨，且更具表现力。它们通常依赖于无监督的训练要领，目的是获得对世界统计数据和结构的基本了解，然后将其用于猜测。例如，在猫比狗更常见的世界中，天生模型能够会应用爪子的视觉景象来猜测长胡须也是存在的，并最终得出图象中有猫的结论。在结构上，这些模型更有能够具有循环连接（recurrent connection），特别是来自更高视觉区域或将猜测信号传送到视觉体系的额叶皮层的自上而下的连接。它们也更有能够用概率分布来表示信息，这能够导致与任何给定视觉感知相关的不确定性。科学家们有理由相信这两种过程都能够在大脑中发挥作用。天生要领的支持者指出其直观的吸引力和与内省（introspection）的一致性。毕竟，我们能以心理意象和梦境的形式产生视觉感知；如果没有任何自上而下的影响或内部世界模型，这类现象是不能够发生的。进修有关世界如何运行的一般原则也可以使天生体系更适应新环境。在 GAC 举动期间，麻省理工学院的神经科学家和西蒙斯全球大脑合作组织 (SCGB) 的钻研员 Josh Tenenbaum 在他的演讲视频中应用了图象过滤器来说明这一点：因为我们的视觉体系知道视频可以应用分歧的视觉效果进行过滤，例如颜色和对比度的变化，所以即使它们对我们来说是新的，我们还是能够识别应用了这类效果的图象内容。判断式要领的支持者指出，它在解释神经数据方面取得了切实的成功。经过训练以对图象进行分类的深度卷积神经网络提供了一些最佳模型，用于猜测响应复杂视觉输入的真实神经举动。我们也知道，视觉体系的前馈路径可以非常快速地实现对象分类，这与判断模型是一致的。 这两种模式处于分歧的发展阶段，很难比较它们的优势。当前的判断模型可以在实际用途中处置图象，这让它比天生模型更具优势。然而，这能够更多地反映了钻研职员可以在较量争论机上做的事情，而不是大脑可以做的事情。目前，天生模型很难训练和构建，并且只能运行在玩具问题上，而不是视觉体系面临的真实挑战。如果没有像今天的判断模型一样擅长图象处置的模型，天生要领就没有机会在神经举动的定量猜测上击败判断模型。它们之间的这类对比有点像将今天的汽车与自动驾驶汽车的对比。自动驾驶汽车能够有一些不错的功能，但如果你今天需要四处奔走，它们不会有太大帮助。      「归根结底，你必须有一个模型来测试，」麻省理工学院的神经科学家和 SCGB 钻研员 Jim DiCarlo 说。在 GAC 举动中，代表判断一方的 DiCarlo 揭示了在目标识别上训练的判断模型猜测神经举动的强大能力。「一旦有人建立了一个新的图象较量争论模型，只有当时试验数据才能用来判断该模型相对于其他模型的准确性。」在某种程度上，这从工程的维度减少了关于天生要领与判断要领的争论。即使天生要领具有很多直观的积极意义，钻研职员仍然需要让它们在实践中发挥作用，以便与大脑举动进行大规模比较。目前，它们还不能。但天生模型也并不总是处于劣势。鉴于其种种特性，尤其是它们在没有太多标记数据的情况下进行训练的能力，机器进修钻研职员希望它们在未来变得有用。「重要的是，我们不要将我们认为容易或现在可以做的事情，与大脑可以做的事情混为一谈。」罗切斯特大学的神经科学家 Ralf Haefner 在举动中说。探索的十字路口正如 GAC 小组成员指出的那样，许多模型并不完全适合某个类别或其他类别。循环判断模型是存在的，一些天生模型也可以很快，诸如此类。哥伦比亚大学的神经科学家 Benjamin Peters 在讨论中说，强制让大脑被统计学家和工程师定义的盒子所框住是有风险的。「我们不应该过于刻板，而应该从算法中汲取灵感。」例如，视觉体系可以应用判断组件来实现快速和轻松的视觉感知，但仍包含天生元素以实现更深层的功能。或者，一个内置的天生模型可以利用它对世界的猜测，来帮助为大脑的判断部分提供训练数据。哈佛大学的神经科学家 Talia Konkle 在她的演讲中主张承认感知和认知之间的分离，感知是一种判断过程，而认知是一种更具天生性的过程。一些混合要领在机器进修范围已经很流行。例如，在对比进修这类训练方式中，网络进修对相似的事物进行分组（例如同一图象的分歧剪裁片段），并区别分歧的事物。这类要领具有天生组件 —— 训练不需要显式的目标标签，它创建的表示可以捕获数据中大量的相关统计信息。同时，它也能很好地应用于判断模型的典型前馈结构。它确实学会了区别相似和分歧的图象。鉴于这些模型能够属于同一个范围，一些钻研职员质疑关注二元划分是否有意义。「这些真的是我们想要收敛的项吗？」DeepMind 的 Kim Stachenfeld 问道。科学家和工程师们承认，天生式处置和判断式处置之间的明确区别对于构建一个有效的体系来说并不是必需的。这类区别也不是理解大脑所必需的。「如果你认为这是一个非此即彼的问题，那你就错失了重点，」Kriegeskorte 说。「我不确定 10 到 20 年后我们是否还会在这类二元划分要领中考虑这个问题。」GAC 的部分目的是探索判断式与天生式模型之间的分歧，以此作为推动该范围向前发展的一种手段。Stachenfeld 认为，这类尝试是有用的，即将视觉体系的要领组织到两个阵营中，然后「看看还剩下什么」，从两个阵营之外的东西可以看出这个范围还需要什么样的新术语和新想法。其他人也认为，这次讨论有助于阐明哪些特征对于每种类型的建模要领是真正必要的，以及如何在大脑中考虑每种思路的证据。Kriegeskorte 指出，在应用这些模型的术语时，他现在「避免了过去经常犯的愚蠢错误」。这些概念上的进步是否重要？真正的考验将是它们对试验的影响程度。Kriegeskorte 表示，试验设计是一个很难取得真正进展的范围。加州理工学院的神经科学家和 SCGB 钻研员 Doris Tsao 提出了一种试验途径：分离神经体系的天生组件，并在没有关于当前世界状态的前馈输入的情况下钻研其对神经举动的影响。先前对胼胝体（连接左右大脑半球的横行神经纤维束）病变患者的钻研提供了一些提示。在两个半球之间通路的一部分被切断的情况下，钻研职员通过左眼向右半球揭示「骑士」之类的词，会导致患者（借助左半球反馈连接的影响）描述骑士的视觉场景，即使没有任何视觉刺激或有意识地意识到这个词。Tsao 认为，在动物身上进行的类似试验可以帮助确定自上而下的天生路径，这些路径负责让人联想到这类图象。然而，对于天生体系的人工隔离是否有助于阐明其在正常情况下的功能，GAC 参与者存在分歧。大多数参与者都同意需要更多关注大脑天生能力的试验。宾夕法尼亚大学的神经科学家和 SCGB 调查员 Nicole Rust 提出了钻研视觉猜测的论点，例如猜测视频中接下来会发生什么的能力。DiCarlo 说，受到天生处置优点的启发，他打算做更多的试验。在接下来的一年里，该小组将继续讨论推进钻研的具体步骤，并通过出版物和举动与更广泛的社区别享他们的进展。原文链接：https://www.simonsfoundation.org/2021/12/22/reaching-across-the-aisle-to-find-the-algorithms-of-vision/