AI在线 AI在线

基准测试

7个AI玩狼人杀，GPT-5获断崖式MVP，Kimi手段激进

7个AI玩狼人杀，GPT-5获断崖式MVP，Kimi手段激进
不圆 发自 凹非寺. 量子位 | 公众号 QbitAI一群AI玩狼人杀，GPT-5断崖式领先，胜率达到了惊人的96.7%。 OpenAI的总裁格雷格·布罗克曼转发了这样的一个基准测试：让7个强大的LLMs，包括开源和闭源，玩了210场完整的狼人杀。
9/2/2025 5:25:28 PM
不圆
从Debugger到Developer : 低代码时代新基准NoCode-bench，SWE-Bench作者力荐

从Debugger到Developer : 低代码时代新基准NoCode-bench，SWE-Bench作者力荐
论文的主要作者为浙江大学研究员刘忠鑫及其研究生邓乐、蒋中豪，其他作者包括香港科技大学研究助理教授曹嘉伦、德国 CISPA 和斯图加特大学教授 Michael Pradel。 刘忠鑫的主要研究领域为代码智能，包括代码生成与变更、代码表示学习等；曹嘉伦的主要研究领域包括 AI&SE、人工智能测试、形式化验证等。 当前，大型语言模型（LLM）在软件工程领域的应用日新月异，尤其是在自动修复 Bug 方面，以 SWE-bench 为代表的基准测试展示了 AI 惊人的潜力。
8/8/2025 4:41:00 PM
机器之心
​OpenAI 推出 SWE-Lancer 基准测试:评估真实世界自由软件工程工作的模型性能

​OpenAI 推出 SWE-Lancer 基准测试:评估真实世界自由软件工程工作的模型性能
在软件工程领域，随着挑战的不断演变，传统的基准测试方法显得力不从心。 自由职业的软件工程工作复杂多变，远不止是孤立的编码任务。 自由职业工程师需要处理整个代码库，集成多种系统，并满足复杂的客户需求。
2/18/2025 4:55:00 PM
AI在线
“人类终极考试”基准测试发布：顶级 AI 系统表现惨淡，回答准确率均未超 10%

“人类终极考试”基准测试发布：顶级 AI 系统表现惨淡，回答准确率均未超 10%
非营利组织“人工智能安全中心”（CAIS）与提供数据标注和 AI 开发服务的公司 Scale AI 联合推出了一个名为“人类终极考试”（Humanity's Last Exam）的新型基准测试，旨在评估前沿 AI 系统的综合能力。这一测试因其极高的难度引起关注。
1/24/2025 4:27:49 PM
远洋
MLCommons 发布 PC AI 基准测试 MLPerf Client 首个公开版本 0.5

MLCommons 发布 PC AI 基准测试 MLPerf Client 首个公开版本 0.5
MLPerf Client 基准测试的诞生是 AMD、英特尔、微软、英伟达、高通和顶级 PC OEM 等利益相关方的合作成果。
12/12/2024 3:12:14 PM
溯波（实习）
UL Solutions 推出 AI 文本生成基准测试，支持英伟达、AMD、英特尔三家显卡

UL Solutions 推出 AI 文本生成基准测试，支持英伟达、AMD、英特尔三家显卡
该基准测试目前包括 4 种参数规模不一的模型，分别为 Phi-3.5-mini、Mistral-7B、Llama-3.1-8B 和 Llama-2-13B。
12/11/2024 2:17:40 PM
溯波（实习）
14 项任务测下来，GPT4V、Gemini等多模态大模型竟都没什么视觉感知能力？

14 项任务测下来，GPT4V、Gemini等多模态大模型竟都没什么视觉感知能力？
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]年，以 GPT-4V、Gemini、Claude、LLaVA 为代表的多模态大模型（Multimodal LLMs）已经在文本和图像等多模态内容处理方面表现出了空前的能力
5/11/2024 10:45:00 AM
机器之心
  • 1