人工智能领域知名的公共基准测试平台LMArena近日遭遇信任危机。一项新的研究指出，该平台的排名系统存在偏袒OpenAI、谷歌和Meta等大型供应商的结构性问题，其不透明的流程和头部企业的固有优势可能导致排名失真。然而，LMArena运营团队已公开否认这些指控。
LMArena通过向用户展示不同大型语言模型（LLM）的回复对比，并由用户投票选出更优者，最终形成广泛被行业引用的模型性能排行榜。企业常借此展示自身模型的优越性。
但由Cohere Labs、普林斯顿大学和麻省理工学院的研究人员联合进行的一项分析，基于2024年1月至2025年4月期间收集的超过280万条模型比较记录，揭示了LMArena排名可能存在的偏差。研究人员认为，Meta、谷歌和OpenAI等公司能够私下测试其模型的多个版本，并仅选择性能最佳的版本公开展示在排行榜上，其余版本则被移除。这种被称为“分数游戏”的做法，使得最终发布的模型往往是经过精心挑选的“尖子生”。例如，Meta在发布Llama4之前至少测试了27个内部版本。Meta随后也承认，在用户批评后，他们部署了专门针对基准测试优化的Llama4聊天机器人，而其未经优化的“Maverick”模型在LMArena上的表现则逊色不少。受控实验也表明，提交多个几乎相同的模型变体可以显著提高得分。
此外，研究还指出用户数据的不平等分配进一步加剧了这种偏差。通过API接口，大型供应商能够收集用户与模型交互的数据，包括提示和偏好设置，但这些数据并未公平地共享。OpenAI和谷歌的模型获得了绝大多数的用户交互数据（占比高达61.4%），这使得它们能够利用更多的数据进行优化，甚至可能针对LMArena平台进行专门优化，从而提升排名，即使其在外部基准上的表现并非最优。
研究人员还发现，大量模型在未公开通知的情况下从LMArena平台移除，这对开源模型的影响尤为显著。在评估的243个模型中，有205个模型未经解释就被停用，只有47个模型被正式标记为弃用。这种缺乏透明度的模型移除机制，可能会扭曲排名的历史连贯性和参考价值。
针对上述研究结果，LMArena团队在X平台发布声明坚决否认，强调其排名“反映了数百万新鲜、真实的人类偏好”，并认为提交前的测试是合法手段，旨在确定最符合用户期望的模型变体。他们认为，利用测试数据优化模型以满足用户偏好是一件好事。LMArena团队还表示，排名的依据仅为最终公开发布的模型，而非内部测试结果，且平台的源代码和数百万用户交互数据均已公开，其设计理念是开放的。
尽管如此，研究人员仍呼吁LMArena进行改革，包括公开所有测试过的模型变体、限制供应商单次提交的版本数量、确保模型在用户之间更公平地分配，并对模型移除进行清晰记录。他们警告称，若缺乏更严格的监督，LMArena最终可能奖励的是针对排行榜的策略性优化，而非模型实际性能的提升。
Cohere 实验室负责人兼该研究合著者之一Sara Hooker强调了LMArena日益增长的影响力及其所要求的“科学诚信”。前特斯拉和OpenAI工程师Andrej Karpathy也对LMArena的可靠性表示怀疑，他注意到Gemini模型在榜单上“远高于第二名”，这与他个人使用体验不符，并指出一些规模较小、缺乏实际知识的“相对随机的模型”也常常出现在榜单前列，进一步引发了对排名真实性的质疑。
