头脑链如何释放语言模型的隐藏本领？最新实际钻研揭示其背后奥秘

头脑链提醒（CoT）是大模型涌现中最神秘的现象之一，尤其在办理数学推理和决策成绩中取得了惊艳效果。CoT到底有多重要呢？它背后成功的机制是什么？本文中，北大的几位钻研者说明了CoT在实现大语言模型（LLM）推理中是不可或缺的，并从实际和实行角度揭示了CoT如何释放LLM的巨大潜力。

最近的钻研发现，头脑链提醒（Chain of Thought prompting，简称为 CoT）可以显著提升大语言模型（LLM）的性能，尤其适用于处理涉及数学或推理的复杂任意。不过尽管取得了很大成功，但 CoT 背后的机制以及如何释放 LLM 的潜力仍然难以捉摸。

近日，北京大学的一项新钻研从实际视角揭示了 CoT 背后的奥秘。

论文链接：https://arxiv.org/abs/2305.15408

基于 Transformer 的大语言模型已经成为自然语言处理中的通用模型，在各种任意上都获得了广泛的应用。主流的大模型通常基于自返回范式来实现，具体而言，各种不同的任意（如文本翻译、文本天生、成绩回答等）都可以统一地视为序列天生成绩，其中成绩的输入和成绩描述被一起被编码为一个单词（token）序列，称为提醒（prompt）；成绩的谜底便可以转化为基于提醒来条件天生后续单词的任意。

在大模型领域中有大量的钻研已经表明，精心设计的提醒词对模型的表现起着至关重要的作用。特别是在涉及算术或推理相关的任意时， CoT 已被表明能够大大提高所天生谜底的精确性。如下图所示，对于一个需要数学推理的任意，大模型间接天生的谜底往往是错误的（下图 a,b）。但是如果通过修改提醒使得大模型输入整个头脑链（中间推导方法），最终便能够得到精确谜底（下图 c,d）。

在实践中，头脑链提醒有两种主流的实现方式：一种是在提醒中添加特定短语，如 “Let’s think step by step” 来触发（如上图 c）；另一种是通过提供少量的头脑链演示的例子来让大模型模拟相应的推导过程（如上图 d）。

然而，尽管 CoT 在大量实行上都取得了显著的表现，但背后的实际机制却仍然是个谜。一方面，大模型在间接回答数学、推理等成绩方面是否确实存在固有实际缺陷？另一方面，为什么 CoT 可以提升大模型在这些任意上的本领？这篇论文从实际角度对上述成绩进行了回答。

具体而言，钻研者从模型表达本领的角度来钻研 CoT：对于数学任意和一般的决策任意，本文钻研了基于自返回的 Transformer 模型在以下两个方面的表达本领：（1）间接天生谜底，以及（2）采用 CoT 的方式天生完整的办理方法。 

CoT 是办理数学成绩的关键

以 GPT-4 为代表的大模型已经展现出了令人震惊的数学本领。例如，它能够精确求解大部分高中数学题，甚至已经成为数学家们的钻研助手。

为了钻研大模型在数学方面的本领，本文选取了两个非常基础但核心的数学任意：算术和方程（下图给出了这两个任意的输入输入示例）。由于它们是办理复杂数学成绩的基本组件，因此通过对这两个核心数学成绩的钻研，我们可以对大模型在一般数学成绩上的本领有一个更深刻的理解。

钻研者首先探究了 Transformer 是否能够输入上述成绩的谜底而不输入中间方法。他们考虑了一种与实际非常吻合的假设 ——log 精度 Transformer，即 Transformer 的每个神经元只能表示有限精度的浮点数（精度为 log n 比特），其中 n 是句子的最大长度。这一假设与实际非常接近，例如在 GPT-3 中，机器精度（16 位或 32 位）通常要远小于最大输入句子长度（2048）。

在这一假设下，钻研者说明了一个核心不可能结果：对于常数层、宽度为 d 的自返回 Transformer 模型，以间接输入谜底的方式求解上述两个数学成绩时，需要使用极大的模型宽度 d。具体而言，d 需要以超越多项式的增长速度随输入长度 n 的增长而变大。

造成这一结果的本质原因在于，上述两个成绩不存在高效的并行算法，因此 Transformer 作为一种典型的并行模型无法对其进行求解。文章使用实际计算机科学中的电路复杂性实际对上述定理进行了严格说明。

那么，如果模型不间接输入谜底，而是按照上图的形式输入中间推导方法呢？钻研者进一步通过构造说明了，当模型可以输入中间方法时，一个固定大小（不依赖于输入长度 n）的自返回 Transformer 模型便可以办理上述两个数学成绩。

对比之前的结果可以看出，加入 CoT 极大地提升了大模型的表达本领。钻研者进一步对此给出了直观的理解：这是因为 CoT 的引入会将天生的输入单词不断回馈到输入层，这大大增加了模型的有效深度，使其正比于 CoT 的输入长度，从而极大地提升了 Transformer 的并行复杂度。

CoT 是办理一般决策成绩的关键

除了数学成绩，钻研者进一步考虑了 CoT 在办理一般任意上的本领。他们从决策成绩出发，考虑了一种办理决策成绩的通用框架，称为动向筹备。

动向筹备（DP）的基本思想在于将复杂成绩分解为一系列可以按顺序办理的小规模子成绩。其中对成绩的分解确保了各个子成绩之间存在显著的相互关联（重叠），从而使得每个子成绩可以利用之前的子成绩上的谜底来高效办理。

最长上升子序列（LIS）和求解编辑距离（ED）是《算法导论》一书中提出的两个著名的 DP 成绩，下表列出了这两个成绩的状态空间、转移函数的聚合函数。

钻研者说明了，自返回 Transformer 模型可以按照办理子成绩的顺序输入一个完整的动向筹备头脑链，从而对于所有能够用动向筹备办理的任意都能输入精确谜底。同样地，钻研者进一步说明了天生头脑链是必要的：对于很多困难的动向筹备成绩，一个常数层、多项式大小的 Transformer 模型无法间接输入精确谜底。文章通过上下文无关文法成员测试这一成绩给出了反例。

实行

钻研者最后设计了大量实行对上述实际进行了验证，考虑了四种不同的任意：算术表达式求值、解线性方程组、求解最长上升子序列以及求解编辑距离。

实行结果表明，当使用 CoT 数据进行训练时，一个 3 层的自返回 Transformer 模型已经能够在所有任意上均取得几乎完美的表现。然而，间接输入精确谜底在所有任意上的表现都很差（即使使用更深的模型）。这一结果清楚地展示了自返回 Transformer 在办理各种复杂任意上的本领，并表明了 CoT 在办理这些任意中的重要性。

钻研者还探究了学得的自返回模型是否可以进一步外推到更长的数据。他们为运算任意构建了一个 CoT 训练数据集，其中运算符数量从 1 到 15，并在算子数量 n ∈ {16, 17, 18} 的表达式上测试模型。结果如下图 3 所示，钻研者的三层 Transformer 模型依然在更长的序列上表现良好，表明模型在某种程度上确实学习了底层机制。因此，钻研者相信在更多不同长度的数据上训练的模型最终可以揭示完整的算术规则。