近日，谷歌推出了其最新的 AI 模型 Gemini3，声称在多个学术基准中名列前茅。然而，依赖于厂商提供的基准测试存在一定局限性。近日，Prolific 公司进行了一项独立的评估，将 Gemini3在真实世界应用中的表现与其他模型进行对比。此次评估共涉及26，000名用户，通过盲测的方式，对 AI 模型进行了严格的比较，关注用户信任、适应性和沟通风格等实际应用的关键指标。
根据 Prolific 的 “HUMAINE 基准”，Gemini3Pro 的用户信任得分从之前的16% 激增至69%，创下了该机构历史最高记录。Gemini3在信任、伦理和安全性方面的表现优于其前身 Gemini2.5Pro，后者仅在16% 的情况下表现最佳。此外，Gemini3在性能与推理、交互与适应性以及信任与安全等三个主要评估类别中均排名第一，仅在沟通风格方面被 DeepSeek V3超越。
此次测试显示，Gemini3在22个不同的用户群体中表现一致良好，涵盖年龄、性别、种族和政治倾向等多种变量。用户在双盲比较中选择 Gemini3的可能性提高了五倍。Prolific 的联合创始人兼首席执行官 Phelim Bradley 表示，Gemini3的胜出在于其在多种不同场景下的一致性，以及其吸引广泛用户群体的个性与风格。
HUMAINE 的评估方法揭示了行业评估模型中的一些不足。通过让用户在不知情的情况下与两个模型进行多轮对话，测试能够反映出模型性能因受众而异的特点。Bradley 指出，虽然他们在某些情况下使用 AI 评估，但人类评估依然是至关重要的，因为人类数据能够提供更具价值的见解。
针对企业在选择 AI 模型时的建议，Bradley 强调，应该采用更为严谨的评估框架，关注模型在不同使用场景和用户人群中的一致性，而非仅仅依赖于单一任务的峰值表现。通过这样的评估方法，企业可以更好地选择适合其特定需求的 AI 模型。
划重点:
🌟 Gemini3Pro 在用户信任测试中获得69% 的好评，远超前代产品16% 的成绩。
📊 该模型在性能、交互和信任等方面表现优异，特别是在多样化用户群体中的一致性表现。
🔍 Prolific 提倡企业采用更严谨的评估框架，以选择最适合自身需求的 AI 模型。
