AI在线 AI在线

OIBench

打破大模型编程「数据污染」与「能力虚胖」困境，Meituan-M17团队构建新一代AI编程评测新标准——OIBench

打破大模型编程「数据污染」与「能力虚胖」困境，Meituan-M17团队构建新一代AI编程评测新标准——OIBench
当前，大语言模型（LLMs）在编程领域的能力受到广泛关注，相关论断在市场中普遍存在，例如 DeepMind 的 AlphaCode 曾宣称达到人类竞技编程选手的水平；OpenAI 的顶尖模型屡屡被报道能通过谷歌高级编程面试，并在 LeetCode 挑战中表现出较高能力。 然而，将这些能力宣称与实际评测结果进行对比时，当前评估体系的深层问题便随之显现：比如尽管 GPT-4o 模型被冠以 “竞赛级” 头衔，甚至有声音称其算法水平接近 ACM 区域赛金牌选手，但实际在面对未经大量公开数据训练的、更高难度的信息学奥赛级别问题时，其通过率却往往低至个位数，与 985 级别高校 ACM 校队成员的平均通过率存在显著差距。 当部分评测宣称 Claude 3.5 Sonnet 可替代中级开发人员时，它在动态规划等高难度题型中错误率却高达 80% 以上，且无法独立完成需数学建模的复杂竞赛题。
7/11/2025 10:54:00 AM
机器之心
  • 1