文章第一作家为来自北京大学物理学院、即将加入人工智能研究院读博的胡逸。胡逸的导师为北京大学人工智能研究院助理教授、北京通用人工智能研究院研究员张牧涵，主要研究方向为图机器学习和大模型的推理和微调。
论文地址：https://arxiv.org/abs/2402.17709
项目主页：https://github.com/GraphPKU/Case_or_Rule
论文标题：Case-Based or Rule-Based: How Do Transformers Do the Math?
Case-based or rule-based?
尽管如 ChatGPT 这样的大语言模型（Large Language Models, LLMs）已经在各种复杂任务中展现出令人惊艳的性能，它们在处理一些对人类来说十分简单的数学推理题目时仍会面临困难，例如长整数加法。
人类可以轻松地学习加法的基本条例，例如竖式加法，并将其应用于任意长度的新的加法题目，但 LLMs 却难以做到这一点。相反，它们可能会依附于训练语料库中见过的相似样例来帮助解决题目。来自北京大学张牧涵团队的 ICML 2024 论文深刻研究了这一现象。研究者们将这两种不同的推理机制定义为 “基于条例的推理”（rule-based reasoning）和 “基于样例的推理”（case-based reasoning）。图 1 展现了两种推理机制在遇到同一个加法题目时，采用的不同模式。
图 1：case-based reasoning 与 rule-based reasoning 示意图
由于 rule-based reasoning 对于获得系统性的泛化能力 (systematic generalization) 至关重要，作家在文章中探讨了 transformers 在数学题目（例如 "a+b=?"）中到底是使用何种推理机制。为了尝试模型是否依附特定样例来解决题目，作家使用了 Leave-Square-Out 法子。主要思想是首先需要定位模型可能依附的训练集合的样例，然后将它们从训练集合移除，以观察它们是否影响模型的尝试性能。对于数学推理，作家的假设是，在解决某个尝试样本时，transformers 倾向于依附与尝试样本 “接近” 的训练样本来从事推理。因此，作家在样本的二维空间中挖掉了一块正方形作为尝试集（test square）。根据假设，若模型在做 case-based reasoning，且模型依附的是与 test sample 距离较近的 training sample 来做推理，那么模型将无法答对正方形中心附近的 test samples，因为模型在训练集合没有见过接近的样例。
图 2：GPT-2 在加法、模加法、九进制加法、线性回归上利用 Leave-Square-Out 法子从事 fine-tune 后在全数据集上的正确率。其中，红框中的方形区域为尝试集，其他部分为训练集合。
通过在五个数学任务（包括加法、模加法、九进制加法、线性回归以及鸡兔同笼题目）的干预实验，transformers 无一例外都表现出了 case-based reasoning 的行为。作家利用 Leave-Square-Out 法子对 GPT-2 从事了 fine-tune，具体的模型表现展示于图 2。可见，尝试集内，模型的性能由边界到中心迅速下降，出现了 holes。这说明当我们把 holes 周围的 similar cases 移出训练集时，模型便无法做对 holes 中的 test samples 做出准确推理。也即展现出模型依附 similar cases 从事推理的行为。为了确保结论的公平性，作家同时利用 random split 法子对数据集从事了训练集 / 尝试集的划分，并观察到 random split 下模型可轻易在尝试集上达到接近 100% 的准确率，说明 Leave-Square-Out 实验中的训练样例数是足够模型完成推理的，且再次侧面印证了 transformers 在做基于样例的推理（因为 random split 下所有 test samples 都有接近的 training samples）。
Scratchpad 是否会改变模型推理行为？
图 3：利用 scratchpad 对 GPT-2 在加法任务上从事 fine-tune 后的模型在 test square 中的准确率。
此外，作家探讨了是否可以通过加入 scratchpad，即引导模型在输出中一位一位地做加法来消除 case-based reasoning 的行为，使模型转向 rule-based reasoning（scratchpad 的具体法子可见图 4）。图 3 展示了利用 scratchpad 对 GPT-2 在加法任务上从事 fine-tune 后的模型在 test square 中的准确率。
一方面，可发现 test square 中仍然有一部分模型无法做对的区域，表现出模型仍然在做 case-based reasoning；另一方面，与不加入 scratchpad 时模型在 test square 中出现整块连续的 hole 的现象相比，模型在使用 scratchpad 时对于训练样例的依附情况显然发生了变化。
具体而言，test square 中无法做对的区域呈现为三角形，其斜边沿着个位和十位的 “进位边界”。例如，图 3 中自左向右第 2 张图（test square 边长l_k=20）有两个三角形区域，模型的准确率几乎为零。小三角形表示，模型无法解决如47+48的题目，因为训练集合没有包含十位上4+4+1的步骤（所有四十几 + 四十几的样例都在尝试集合）。而对于不涉及十位进位的尝试样本，如42+43 ，模型则能够成功，因为它可以从大量其他训练数据中学习到 4+4=8这个中间步骤（例如24+24=48）。对于大三角形中的数据而言，模型无法解决例如57+58这样的题目，因为训练集合没有包含十位上5+5需要进位到百位的案例。
这些黑色区域的形状和位置表明，只有当尝试案例的每一步在训练集合都出现过时，模型才能够成功；否则就会失败。更重要的是，这一现象表明，即使有 step-by-step 的推理过程的帮助，transformers 也难以学会 rule-based reasoning —— 模型仍然在机械地记忆见过的单个步骤，而没有学会背后的条例。
其他影响因素
Scratchpad 以外，作家也在文章中对 test square 的位置、大小，模型的大小（包括 GPT-2-Medium，与更大的模型：Llama-2-7B 和 GPT-3.5-Turbo），数据集的大小等因素从事了丰富的尝试。模型在做 case-based reasoning 的结论是统一的。具体的实验细节可见文章。
Rule-Following Fine-Tuning (RFFT)
通过上述的干预实验，作家发现 transformers 在数学推理中倾向于使用 case-based reasoning，然而，case-based reasoning 会极大地限制模型的泛化能力，因为这意味着模型如果要做对新的 test sample ，就需要在训练集合见过相似的样本。而在训练集合覆盖到所有未知推理题目的相似样本是几乎不可能的（尤其对于存在长度泛化的题目）。
图 4：direct answer，scratchpad 与 rule-following 三种法子的 input-output sequence
为了缓解此类题目，作家提出了名为 Rule-Following Fine-Tuning（RFFT）的条例遵循微调技术，旨在教 transformers 从事 rule-based reasoning。具体来说，如图 4 所示，RFFT 在输入中提供显式的条例，然后指导 transformers 逐行地回忆条例并执行。
实验中，作家在 1-5 位数的加法上使用图 4 所示的三种法子对 Llama-2-7B 和 GPT-3.5-turbo 从事了 fine-tune，并分别在 6-9 与 6-15 位数的 OOD 的加法任务上从事了尝试。
图 5：Llama-2-7b 和 GPT-3.5-turbo
由图 5 可见，RFFT 在长度泛化的性能上明显超过了 direct answer 和 scratchpad 这两种微调法子。使用 Llama-2-7B 从事 RFFT 时，模型在 9 位数的加法中也能保持 91.1% 的准确率。相比之下，使用 scratchpad 从事 fine-tune 的模型在此任务中的准确率不到 40%。对于拥有更强的基础能力的 GPT-3.5-turbo，RFFT 使其能够惊人地泛化到涉及多达 12 位数字的加法，尽管只在 1-5 位加法上训练了 100 个训练样本，但其在 12 位数的加法上仍然保持了 95% 以上的准确率。这也显著超过了 scratchpad 和 direct answer 的结果。这些结果突出显示了 RFFT 在引导 transformers 从事 rule-based reasoning 方面的有效性，并展现了其在增强模型长度泛化能力方面的潜力。
值得注意的是，作家发现 Llama-2-7B 需要 150,000 个训练样本才能泛化到 9 位数字，而 GPT-3.5 仅用 100 个训练样本就能掌握条例并泛化到 12 位数字。因此，条例遵循（rule-following）可能是一种 meta learning ability—— 它可能通过在多样化的 rule-following 数据上从事训练而得到加强，并可更容易地迁移到新的未在训练集合见过的领域中。相应地，基础模型越强大，理解并学习新的条例就越容易。这也与人类学习新条例的能力相符 —— 经验丰富的学习者通常学习得更快。
总结
本文探究了 transformers 在做数学推理题目时究竟是采用 case-based reasoning 还是 rule-based reasoning，并提出了 Rule-Following Fine-Tuning 的条例遵循微调法子来显式地教会 transformers 从事 rule-based reasoning。RFFT 展现了强大的长度泛化能力，并有潜力全面提升 LLMs 的推理能力。