禁止大型语言模型胡编乱造，给点内部常识，推理靠谱的很

该研讨提出的 RR（Rethinking with Retrieval）办法不需要额外的训练或微调，也不受大型语言模型（LLM）输入长度限制，在常识推理、时间推理和表格推理使命中显著提高了 LLM 性能。

大型语言模型 (LLM) 已通过 In-context Learning 在各种复杂使命上展现出卓越的性能，并且无需针对特定使命进行训练或微调，近期 prompt 和解码方面取得的进展也使 LLM 解决复杂推理使命变成了现实。然而，LLM 可能会存储过时、不全面或不准确的常识，要将 LLM 成功部署到实际应用中，内部常识来源（例如维基百科）至关重要。此前，人们尝试将常识用于较小的语言模型 (LM)，例如 T5、BERT 和 RoBERTa，但这些办法通常需要额外的训练或微调，成本高昂，对于 LLM 来说完全不切实际。基于此，来自罗彻斯特大学、腾讯 AI Lab 和宾夕法尼亚大学的研讨者联合提出了一种称为 Rethinking with Retrieval (RR) 的后处理办法，以在 LLM 中利用内部常识。

论文地址：https://arxiv.org/pdf/2301.00303v1.pdf该研讨的思路是首先运用思维链 (chain-of-thought，CoT) prompting 办法天生一组不同的推理途径，类似于 Wang et al. (2022) 的办法。然后该研讨运用这些途径中的每个推理步骤来检索有关的内部常识，让 RR 办法可以提供更合理的解释和更准确的猜测。

该研讨运用 GPT-3 175B 和几种常见的内部常识源（维基百科、维基数据、WordNet 和 Conceptnet）来评估 RR 办法在三个复杂推理使命上的有效性，包括常识推理、时序推理和表格推理。实验结果表明，无需额外的训练或微调，RR 在这三项使命上始终优于其他办法，这表明 RR 办法在利用内部常识来提高 LLM 性能方面具有很大优势。利用检索进行重新思考实际上，尽管 LLM 已准确捕捉了回答题目所需的要素，但这些模型有时还是会天生毛病的结果。这种现象说明 LLM 存储和检索常识的方式存在一些题目，包括：预训练语料库中存在过时、不准确或缺失的有关常识；预训练时对有关常识的存储有误；推理阶段对有关常识的毛病检索。RR 办法的大致思路如下：给定一个输入题目 Q，RR 办法先利用思维链（chain-of though）prompting 天生一组不同的推理途径 R_1、R_2、……、R_N，其中每个推理途径 R_i 由解释 E_i 和跟在其后的猜测 P_i 组成，然后再从合适的常识库 KB 中检索有关常识 K_1、……、K_M 来支持每个推理途径中的解释，并选择最符合该常识的猜测。思维链（CoT）prompting。与标准 prompting 明显不同，CoT prompting 包括在 prompting 中进行分步推理实例演示来天生一系列捕获推理过程的短句。例如，给定输入题目：「亚里士多德运用笔记本电脑吗？」CoT prompting 旨在天生完整的推理途径：CoT prompting 的推理过程为：「亚里士多德死于公元前 322 年。第一台笔记本电脑于 1980 年发明。因此，亚里士多德没有运用笔记本电脑。所以谜底是 no。」而非简单地输出「No」。对不同的推理途径采样。与 Wang et al. (2022) 相似，该研讨对一组不同的推理途径 R_1、R_2、……、R_N 进行了采样，而不是像 Wei et al. (2022) 那样只考虑最优比例途径（greedy path）。对于「亚里士多德是否运用笔记本电脑？」这一题目，可能的推理途径如下：(R_1) 亚里士多德死于 2000 年。第一台笔记本电脑发明于 1980 年。因此，亚里士多德运用过笔记本电脑。所以该题目的谜底为是。(R_2) 亚里士多德于公元前 322 年去世。第一台笔记本电脑发明于 2000 年。因此，亚里士多德没有运用过笔记本电脑。所以谜底为否。常识检索。不同的常识库可以用来处理不同的使命。例如，为了解决「亚里士多德运用笔记本电脑了吗？」这个题目，我们可以运用维基百科作为内部常识库 KB。信息检索技术可用于基于分解的推理步骤从维基百科中检索有关常识 K_1、……K_M。理想情况下，针对此题目我们可以从维基百科中获得以下两段内容：(K_1) 亚里士多德（公元前 384 至公元前 322 年）是古希腊古典时期的希腊哲学家和博学大师(K_2) 第一台笔记本电脑 Epson HX-20 于 1980 年发明……忠实的推理。我们可以运用函数 f_KB（R_i）来估算每个推理途径 R_i 的置信度，该函数建立在从常识库 KB 检索的有关常识 K_1、……、K_M 基础之上。最终的猜测可以通过运用以下推断过程来获得：

实验评估本节中，该研讨介绍了 RR 在三个复杂推理使命上的评估：常识推理、时序推理和表格推理。实验设置。在所有实验中，除非另有说明，该研讨都运用 GPT-3 text-davinci-002。实验完成期间天生的最大 token 数量被设置为 256，zero-shot、few-shot 以及 chain-of-thought prompting，温度参数（temperature）固定设置为 0。结果。如表 1 所示，本文提出的办法 RR，在所有三个推理使命上始终优于所有基准，而无需额外的训练或微调。这些结果凸显出了 RR 在利用内部常识提高 LLM 表现方面的有效性。

该研讨在 StrategyQA 数据集上展示了带有 CoT prompting 办法的关于 GPT-3 的分析。在仔细检查 GPT-3 的输出后，该研讨观察到 RR 可以为许多题目提供合理的解释和准确的猜测。例如，当给出「佐治亚州的奥尔巴尼会在纽约州的奥尔巴尼之前先达到十万名住户吗？」这个题目时，GPT-3 产生了以下输出：

总体来看对于题目的输出谜底质量很高。然而，该研讨也观察到 GPT-3 可能偶尔会为其解释提供不准确的事实支持，或为其猜测做出不准确的推理，尽管它通常能够识别出合适的观点。毛病的支持事实。如表 2 所示，GPT-3 为 Lil Jon 在 Billboard 榜单中排名最高的歌曲提供了毛病的事实支持，指出排名最高的歌曲是 Get Low 而非准确谜底 Yeah。另外，GPT-3 还做出了毛病的推理，即富士山的山顶不会高于日本海，而不是准确谜底会高于。