GPT-4比你更会问题目:让大模型自主复述,打破与人类对话的壁垒

在最新的人工智能领域动态中,人工生成的提醒(prompt)品质对大谈话模型(LLM)的响应精度有着决定性影响。OpenAI 提出的建议指出,精确、详细且具体的题目对于这些大谈话模型的表现至关重要。然而,普通用户是否可能确保他们的题目对于 LLM 来说足够明晰明了?值得注意的是,人类在某些情境下的自然明白能力与机器的解读存在明显差异。例如,“偶数月” 这一概念,在人类看来很明显指的是二月,四月等月份,而 GPT-4 却可能将其误会为天数为偶数的月份。这不仅揭示了人工智能在明白日常语境上的局限性,也促使我们反思如何更有

在最新的人工智能领域动态中,人工生成的提醒(prompt)品质对大谈话模型(LLM)的响应精度有着决定性影响。OpenAI 提出的建议指出,精确、详细且具体的题目对于这些大谈话模型的表现至关重要。然而,普通用户是否可能确保他们的题目对于 LLM 来说足够明晰明了?

值得注意的是,人类在某些情境下的自然明白能力与机器的解读存在明显差异。例如,“偶数月” 这一概念,在人类看来很明显指的是二月,四月等月份,而 GPT-4 却可能将其误会为天数为偶数的月份。这不仅揭示了人工智能在明白日常语境上的局限性,也促使我们反思如何更无效地与这些大谈话模型进行交流。随着人工智能技术的不断进步,如何桥接人类与机器在谈话明白上的鸿沟,是一个未来钻研的重要课题。

对此,加利福尼亚大学洛杉矶分校(UCLA)顾全全教授领导的通用人工智能实行室发布了一份钻研报告,针对大谈话模型(如 GPT-4)在题目明白上的歧义题目提出了一种创新的解决方案。这项钻研由博士生邓依荷,张蔚桐,陈子翔完成。

GPT-4比你更会问题目:让大模型自主复述,打破与人类对话的壁垒

论文地址:https://arxiv.org/pdf/2311.04205.pdf

项目地址: https://uclaml.github.io/Rephrase-and-Respond

该方案的核心在于让大谈话模型对提出的题目进行复述与扩写,以提升其答复的准确性。钻研发明,经 GPT-4 重新表述的题目变得更加详细,题目格式也更为明晰了。这种复述与扩写的法子显著提升了模型的答复准确率。实行表明,一个良好的复述之后的题目,使答复的准确率从原本的 50% 提升到了接近 100%。这一功能提升不仅展示了大谈话模型自我改进的潜力,也为人工智能如何更无效地处理和明白人类谈话提供了新的视角。

法子

鉴于以上的发明,钻研者提出了一个简单但效果显著的提醒词 (prompt):“Rephrase and expand the question, and respond”(简称为 RaR)。这一提醒词直接提升了 LLM 答复题目的品质,展示了在题目处理上的一个重要提升。

GPT-4比你更会问题目:让大模型自主复述,打破与人类对话的壁垒

钻研团队还提出了 RaR 的一种变体,称为 “Two-step RaR”,以充分利用像 GPT-4 这样的大模型复述题目的能力。这种法子遵循两个步骤:首先,针对给定的题目,使用一个专门的 Rephrasing LLM 生成一个复述题目;其次,将原始题目和复述后的题目结合起来,用于提醒一个 Responding LLM 进行答复。

GPT-4比你更会问题目:让大模型自主复述,打破与人类对话的壁垒

结果

GPT-4比你更会问题目:让大模型自主复述,打破与人类对话的壁垒

钻研职员在不同使命上的实行显示,无论是 (One-step) RaR 还是 Two-step RaR,都在提升 GPT4 的答复准确率方面显示出了一致的无效性。值得注意的是,在原本对于 GPT-4 极具挑战性的使命上,RaR 展现出了显著的改进效果,甚至在某些情况下准确率接近 100%。鉴于此,钻研团队总结了以下两点关键的结论:

1. 复述并扩写(RaR)提供了一种即插即用的黑箱式提醒法子,可能无效地提升 LLM 在各种使命上的功能。

2. 在评估 LLM 在问答(QA)使命上的表现时,检查题目的品质至关重要。

GPT-4比你更会问题目:让大模型自主复述,打破与人类对话的壁垒

进一步的,钻研职员采用了 Two-step RaR 来探究 GPT-4、GPT-3.5 和 Vicuna-13b-v.15 等不同模型的表现。实行结果显示,对于那些具备更复杂架构和更强大处理能力的模型,如 GPT-4,RaR 法子可能显著提升其处理题目的准确性和效率。而对于较为简单的模型,例如 Vicuna,尽管改进幅度较小,但依然证明了 RaR 策略的无效性。鉴于此,钻研职员进一步检查了不同模型复述后的题目品质。对于较小模型的复述题目,有时可能对题目的意图产生扰动。而如 GPT-4 这样的高级模型提供的复述题目与人类的意图往往更加吻合,并能增强其他模型的答复效果。

GPT-4比你更会问题目:让大模型自主复述,打破与人类对话的壁垒

这一发明揭示了一个重要的现象:不同等级的谈话模型复述的题目在品质和效果上存在差异。特别是像 GPT-4 这样的高级模型,它复述的题目不仅可能为自身提供更明晰的题目明白,还可能作为一种无效的输入,提升其他较小模型的功能。

与思维链(CoT)的区别

为了明白 RaR 与思维链(CoT)之间的区别,钻研职员提出了它们的数学表述,并阐明了 RaR 在数学上与 CoT 的不同之处,以及它们如何可以轻松结合。

GPT-4比你更会问题目:让大模型自主复述,打破与人类对话的壁垒

这项钻研同时表明,在深入探讨如何增强模型推理能力之前,应该提升题目的品质以确保模型的推理能力可以被正确评估。比如 “硬币翻转” 题目,人们发明与人类的意图不同的是,GPT-4 将 “翻转(flip)” 这一词语明白为随机抛掷的动作。当引导模型使用 “Let’s think step by step” 来进行推理时,这种误会仍然存在于推理过程中。只有在澄清了题目之后,大谈话模型才会回应预期的题目。

GPT-4比你更会问题目:让大模型自主复述,打破与人类对话的壁垒

进一步的,钻研职员注意到,除了题目文本之外,用于 few-shot CoT 的问答示例也是由人类编写的。这就引发了一个题目:当这些人工构造的示例存在缺陷时,大谈话模型(LLM)会作出怎样的反应?该钻研提供了一个很有意思的例子,并发明不良的 few-shot CoT 示例可能会对 LLM 产生负面影响。以 “末尾字母连接” 使命为例,先前使用的题目示例在提升模型功能方面显示出了积极效果。然而,当提醒逻辑发生变化,比如从找到末尾字母变成找到首位字母,GPT-4 却给出了错误的答案。这一现象突显了模型对人工示例的敏感性。

GPT-4比你更会问题目:让大模型自主复述,打破与人类对话的壁垒

钻研职员发明,通过使用 RaR,GPT-4 可能纠正给定示例中的逻辑缺陷,从而提升 few-shot CoT 的品质和稳健性。

结论

人类和大谈话模型(LLM)之间交流可能存在误会:看似对人类明晰的题目可能仍会被大谈话模型明白成其他的题目。UCLA 的钻研团队鉴于这个题目提出 RaR 这一新颖法子,促使 LLM 先复述并澄清题目,然后再答复。

RaR 在一系列基准数据集上进行的实行评估证实了其法子的无效性。进一步分析显示,通过复述得到的题目品质提升是可以跨模型转移的。

展望未来,RaR 这类的法子预计将持续完善,以及它们与 CoT 等其他法子的整合,将为人类与大谈话模型之间更准确、更无效的互动铺平道路,最终拓展 AI 解释和推理能力的边界。

给TA打赏
共{{data.count}}人
人已打赏
工程

通用平常检测新曙光:华科大等揭秘GPT-4V的全方位平常检测表现

2023-11-13 10:37:00

工程

斯坦福提出比照偏好进修:无需加强进修即可从人类反馈中进修

2023-11-13 11:56:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索