近期，法国人工智能研究机构 Giskard 进行了一项关于语言模型的研究，结果表明，当用户要求简短回答时，许多语言模型更可能生成错误或误导性的信息。
该研究使用了多语言的 Phare 基准测试，专注于模型在现实使用环境中的表现，尤其是它们所产生的 “幻想” 现象。幻想指的是模型产生虚假或误导性内容的情况，而先前的研究显示，这一问题占据了大型语言模型所有记录事件的三分之一以上。
图源备注：图片由AI生成，图片授权服务商Midjourney
研究结果揭示出一个明显的趋势:在用户请求简洁回答的情况下，许多模型的幻想现象显著增多。在某些情况下，模型的抗幻想能力下降幅度甚至达到20%。特别是，当用户使用诸如 “请简短回答” 这样的提示时，模型的事实准确性常常受到影响。准确的反驳通常需要更长、更细致的解释，而当模型被迫简化回答时，就容易牺牲掉事实的准确性。
不同模型对于简洁请求的响应效果差异较大。像 Grok2、Deepseek V3和 GPT-4o mini 这样的模型在面对简洁性限制时，其表现明显下滑。而 Claude3.7Sonnet、Claude3.5Sonnet 和 Gemini1.5Pro 等模型，即使在被要求简短回答的情况下，仍能保持较为稳定的准确性。
除了简短的请求外，用户的语气也对模型的反应产生影响。当用户使用像 “我百分之百确定...” 或 “我老师告诉我...” 这样的表述时，某些模型的纠正能力明显下降，这种现象被称为 “谄媚效应”。该效应可能使模型对错误陈述的挑战能力降低多达15%。一些较小的模型，如 GPT-4o mini、Qwen2.5Max 和 Gemma327B 特别容易受到这种措辞的影响，而大型模型如 Claude3.5和 Claude3.7则对此表现得不那么敏感。
总体而言，这项研究强调了语言模型在现实应用环境中的表现可能不如理想测试情境中那么出色，尤其是在存在误导性提问或系统限制时更为明显。当应用程序更关注简洁性和用户友好性而非事实可靠性时，这一问题尤为突出。
划重点:
- 📉 简洁请求会导致语言模型的准确性下降，抗幻想能力可能降低多达20%。
- 🗣️ 用户的语气和措辞会影响模型的纠正能力，谄媚效应可能使模型更不愿意挑战错误信息。
- 🔍 不同模型在面对现实条件下表现差异明显，小模型更容易受简短和自信措辞的影响。
