GPT-4发布后，其他大模型怎么办？Yann LeCun：加强说话模型或许是条路

在最新的加强说话模型综述里，LeCun 阐述了什么？

ChatGPT、GPT-4 的火爆，让庞大说话模型迎来了迄今为止的高光时刻。但下一步又该往何处去？

Yann LeCun 近来参与的一项钻研指出，加强说话模型或许是个极具潜力的方向。

这是一篇综述文章，本文将简单介绍该论文的主要内容。

钻研背景

庞大说话模型极大地推动了自然说话处理的进步，相关技术造就了几个拥有数百万用户的产品，包括编码助手 Copilot，谷歌搜索引擎以及近来大火的 ChatGPT。将记忆与拉拢性功能相结合后，庞大说话模型能够以超前的性能施行各种恣意，如说话理解或条件和无条件文本天生，从而让更高带宽的人机交互成为现实。

然而，庞大说话模型依旧存在一些限制，妨碍其进行更广泛的部署。庞大说话模型一般提供非事实但看似合理的预计，一般被称为幻觉（hallucination）。这导致了许多本可以规避的错误，例如在算术上下文中或在推理链中。此外，通过可训练参数的数量来衡量，许多庞大说话模型的突破性能力似乎随着规模的增加而出现，例如部分钻研人员证明，庞大说话模型达到一定规模后，就能够通过少样本 prompting 施行一些 BIG-bench 恣意。尽管近来的一系列事情产生了小规模的说话模型，但这种说话模型仍保留了大模型的一些特性，庞大说话模型的大小和数据需求的训练和维护成本依旧是高昂的。庞大模型的持续学习仍然是一个开放的钻研课题，此前 Goldberg 在基于 GPT-3 的聊天机器人 ChatGPT 的上下文中议论了庞大说话模型的其他局限性。 

在近来的一项钻研中，来自 Meta 等机构的钻研者分析称，上述这些课题源于庞大说话模型的一个本质缺陷：它们一般被训练为在给定 (i) 单个参数模型和 (ii) 有限上下文（一般是 n 个前面或周围的 token）的情况下施行统计说话建模。尽管由于近年来软件和硬件的创新，n 一直在增长，但与始终错误施行说话建模所需的潜在庞大上下文相比，大多数模型仍然应用相对较小的上下文。因此，模型需要巨大的规模来存储上下文中不存在但施行手头恣意所必需的知识。

论文链接：https://arxiv.org/pdf/2302.07842v1.pdf

因此，越来越多的钻研都在以解决这些课题为目标，而稍微偏离了上述的纯统计说话建模范式。

例如，有一项事情是通过增加庞大说话模型的相关性来规避有限的上下文大小，通过添加从相关内部文档中提取的信息来实现。通过为庞大说话模型配备从给定上下文的数据库中检索此类文档的模块，可以在参数较少的情况下匹配一些最大说话模型的某些功能。注意，得到的模型现在是非参数的，因为它可以查询内部数据源。总体来说，说话模型还可以通过推理策略改善其上下文，以便在天生答案之前天生相关度更高的上下文，省去更多的计算。

另一种策略是允许说话模型利用内部对象，用说话模型权重中不包孕的重要缺失信息来加强当前上下文。尽管这些事情中的大部分是为了减轻上面提到的说话模型的缺陷，但也直接说明了，更系统地应用推理和对象来加强说话模型可能会催生更强大的智能体。这些模型称为加强说话模型 (ALM)。随着这一趋势的加速，相关的钻研数量急剧增长，此时需要对作品进行分类，并界说不同用途的技术术语。 

本论文中应用的术语的界说如下：

推理。在加强说话模型的上下文中，推理是将一个潜在的繁杂恣意分解成更简单的子恣意，说话模型可以更容易地通过自身或应用对象来解决。存在各种分解子恣意的方法，如递归或迭代。从这个意义上讲，推理类似于 LeCun 2022 那篇论文《A Path Towards Autonomous Machine Intelligence》所界说的「规划」。在本文中，推理将经常涉及到提高说话模型推理技能的各种策略，例如应用少样本示例逐步（step-by-step）推理。目前还不完全清楚说话模型是否真的在推理，或者只是天生一个更大的上下文，从而增加错误预计缺失 token 的可能性。不妨参考其他钻研人员（Huang and Chang (2022)）关于这一主题的议论：尽管基于当前的 SOTA 结果，推理可能是一种说话滥用，但该术语已经在社区中应用。在加强说话模型中，上下文推理的一个更实用的界说是，在天生针对 prompt 的答案之前，给模型更多的计算步骤。

对象。对于加强说话模型，对象是一个内部模块，一般应用规则或特殊 token 挪用，其输出包孕在加强说话模型的上下文中。该对象可以收集内部信息，或者对虚拟或物理世界产生影响（一般由加强说话模型感知）。获取内部信息的对象的一个例子是文档检索器，而具有内部效果的对象是机械臂。对象可以在训练或推理时挪用。总体而言，学习与对象交互可能包括学习挪用它的 API。

举动。对于加强说话模型，举动是指挪用对虚拟世界或物理世界有影响的对象并观察结果，一般是通过将其包孕在加强说话模型的当前上下文中。例如，本文中提到的一些作品议论了网络搜索或通过说话模型操纵机械臂。如果略微过度地应用术语一下，钻研人员有时也会将加强说话模型对对象的挪用表示为一种举动，即使它没有内部效果。

为什么要将推理和对象放在一起议论？说话模型中的推理和对象的拉拢用来解决大批繁杂恣意，而不需要启发式，因此具有更好的泛化能力。一般，推理将促进说话模型将给定的课题分解为可能更简单的子恣意，而对象将帮助使每一步都错误，例如从数学运算中获得结果。换句话说，推理是说话模型拉拢不同对象以解决繁杂恣意的一种方式，而对象是一种应用有效分解避免推理失败的方法。二者都应该从对方身上受益。此外，推理和对象可以放在同一个「罩」下，因为二者都加强了说话模型的上下文以更好地预计缺失的 token，尽管是以不同的方式。

为什么要将对象和行动放在一起议论？说话模型可以用同样的方式挪用收集额外信息的对象和对虚拟世界或物理世界有影响的对象。例如，说话模型输出用于求解数学运算的 Python 代码与说话模型输出用于操作机械臂的 Python 代码似乎没有区别。该论文中议论的一些事情已经应用了对虚拟或物理世界有影响的说话模型。在这种观点下，可以说说话模型具有举动的潜力，其作为自动化智能体方向所取得的重要进展也值得期待。

本文将调查包孕的钻研分为三个部分来展开。第二节钻研了上述界说的加强说话模型推理能力的事情。第三节重点介绍允许说话模型与内部对象交互并采取行动的事情。最后，第四节探讨了推理和对象的应用是通过启发式实现的还是通过学习实现的，例如通过监督或强化。调查还包括其他部分，作者在第五节中进行了议论。简洁起见，调查集中于将推理或对象与说话模型结合起来的事情。最后，虽然本文的关注点在庞大说话模型上，但并不是所有考虑到的钻研都采用了大模型，因此为确保准确性，在其余的调查中也会坚持应用说话模型。

推理

以前的事情表明，庞大说话模型可以解决简单的推理课题，而非繁杂的推理课题：因此，本节重点介绍加强说话模型推理技能的各种策略。对于线性模型来说，繁杂推理课题的挑战之一是通过将其预计的错误答案拉拢到子课题中来错误地获得解。例如，说话模型可以准确预计名人的出生和死亡日期，但可能无法准确预计年龄。部分钻研人员将这种差异称为说话模型的拉拢性差距。本节的其余部分将议论与说话模型中诱导推理的三种流行范式相关的事情。由于目前的事情重点是结合对象的推理，这里建议读者参考其他钻研人员对庞大说话模型推理的事情所进行的更深入的探讨。

对象和举动的应用

近来的说话模型钻研路线允许模型访问不一定存储在其权重中的知识，例如事实性知识。更准确地说，诸如精确计算或信息检索之类的恣意可以卸载到内部模块，如 Python 解释器或被模型查询的搜索引擎模块，在这些方面，这些模块会应用对象。此外，当对象对内部世界产生影响时，我们可以说说话模型施行了一个举动。以特殊 token 的形式轻松地包孕对象和举动，这是结合了 Transformer 说话建模的一个方便特性。

在回顾了说话模型可以如何加强以锻炼自身的推理及应用对象的能力之后，这篇调查钻研还介绍了如何教模型应用这些能力。

更多钻研细节，可参考原论文。