AI在线 AI在线

AGI-Eval

打破大模型编程「数据污染」与「能力虚胖」困境，Meituan-M17团队构建新一代AI编程评测新标准——OIBench

打破大模型编程「数据污染」与「能力虚胖」困境，Meituan-M17团队构建新一代AI编程评测新标准——OIBench
当前，大语言模型（LLMs）在编程领域的能力受到广泛关注，相关论断在市场中普遍存在，例如 DeepMind 的 AlphaCode 曾宣称达到人类竞技编程选手的水平；OpenAI 的顶尖模型屡屡被报道能通过谷歌高级编程面试，并在 LeetCode 挑战中表现出较高能力。 然而，将这些能力宣称与实际评测结果进行对比时，当前评估体系的深层问题便随之显现：比如尽管 GPT-4o 模型被冠以 “竞赛级” 头衔，甚至有声音称其算法水平接近 ACM 区域赛金牌选手，但实际在面对未经大量公开数据训练的、更高难度的信息学奥赛级别问题时，其通过率却往往低至个位数，与 985 级别高校 ACM 校队成员的平均通过率存在显著差距。 当部分评测宣称 Claude 3.5 Sonnet 可替代中级开发人员时，它在动态规划等高难度题型中错误率却高达 80% 以上，且无法独立完成需数学建模的复杂竞赛题。
7/11/2025 10:54:00 AM
机器之心
AGI-Eval团队：AI视频生成模型年度横评，Sora大饼落地，但国产模型仍然领先！

AGI-Eval团队：AI视频生成模型年度横评，Sora大饼落地，但国产模型仍然领先！
说到2024年AI圈的热门话题，当然不能错过视频生成模型了！ 即使是在12月，国内外视频模型的更新脚步依旧没有放缓。 其中以Sora、可灵AI为代表。
1/6/2025 7:30:00 AM
自缘身在最高层？OpenAI o1 pro竞赛级评测结果新鲜出炉

自缘身在最高层？OpenAI o1 pro竞赛级评测结果新鲜出炉
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
12/22/2024 4:31:00 PM
机器之心
  • 1