测试

AI集体“听不懂”！MMAR基准测试揭示音频大模型巨大短板

用AI来整理会议内容，已经是人类的常规操作。不过，你猜怎么着？面对1000道多步骤音频推理题时，30款AI模型竟然几乎全军覆没，很多开源模型表现甚至接近瞎猜。

6/10/2025 9:10:00 AM

Airbnb最近完成了第一次由 LLM 驱动的大规模代码迁移，将 3500 个测试文件从 Enzyme 更新为 React测试库（RTL，React Testing Library）。最初我们估计这需要 1 年半的时间来手工完成，但通过使用前沿模型和强大的自动化组合，我们在 6 周内完成了整个迁移。本文将重点介绍从 Enzyme 迁移到 RTL 所面临的独特挑战，如何通过 LLM 解决这些挑战，以及如何构建迁移工具来执行 LLM 驱动的大规模迁移。

6/10/2025 8:15:00 AM

俞凡 DeepNoMind

AI疯狂进化6个月，一张天梯图全浓缩！30+模型混战，大神演讲爆火

半年之期已到，AI龙王归位！（AI卷成啥样了？）就在刚刚，AI圈大神Simon Willison在旧金山AI工程师世博会（AI Engineer World’s Fair）上带来爆笑又干货满满的主题演讲：「过去六个月中的LLM——由骑自行车的鹈鹕来解释」。

6/10/2025 2:10:00 AM

当测试遇见 AI：用 Streamlit+AutoGen+Deepseek 构建智能用例生成器

一、引言：测试用例的 AI 进化之路1.1 行业困境：手工用例的三重效率枷锁在软件测试领域，测试用例是质量保障的核心载体。据 ISTQB 2024 全球测试报告揭示：测试用例承担着 70%的质量决策责任，但是传统手工编写方式正面临三大痛点：1.1.1 痛点一：效率瓶颈 —— 百级用例的时间黑洞数据支撑：腾讯云测试效能调研显示：某电商平台年编写用例 1.2w 条，其中 68.3% 因需求变更需重复修改。某金融 APP 密码修改功能开发中，23 条用例编写耗时占项目周期 42% （相当于 1 个资深测试工程师 80 工时）。

5/30/2025 3:33:00 AM

魏文晏

大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%

大模型做数独，总体正确率只有15%？？？

5/29/2025 8:47:00 AM

利用DeepSeek与Python自动生成测试用例！

在当今快节奏的软件开发领域，自动化测试已然成为保障软件质量的中流砥柱。传统手动编写测试用例的方式，非但耗时费力，还极易遗漏关键场景。所幸，AI 技术的飞速发展为我们带来了全新的解决方案。

5/27/2025 1:45:00 AM

狂师

字节发布 Seed1.5-VL 视觉-语言多模态大模型，20B 参数狂揽 60 项公开评测基准中 38 项 SOTA！

5 月 13 日，火山引擎在上海搞了场 FORCE LINK AI 创新巡展，一股脑发布了 5 款模型和产品，包括豆包・视频生成模型 Seedance 1.0 lite、升级后的豆包 1.5・视觉深度思考模型，以及新版豆包・音乐模型。同时，Data Agent 和 Trae 等产品也有了新进展。今天给大家介绍的是Seed 1.5-VL，相比于之前版本，Seed1.5-VL 具备更强的通用多模态理解和推理能力，不仅视觉定位和推理更快更准，还新增了视频理解、多模态智能体能力。

5/19/2025 9:07:00 AM

机器人的「物理图灵测试」，英伟达Jim Fan 17分钟演讲揭秘具身Scaling Law

Jim Fan，英伟达机器人部门主管和杰出科学家、GEAR 实验室联合领导人、OpenAI 的首位实习生，最近在红杉资本主办的 AI Ascent 上做了一场 17 分钟的演讲，介绍了「解决通用机器人问题的第一性原理」，包括训练机器人 AI 的数据策略、Scaling Law 以及基于物理 API 的美好未来。其中尤其提到了「物理图灵测试」，大意是说对于一个真实的物理场景和一个指令，会有人类或机器人根据该指令对这个场景进行相应的处理，然后看其他人能否分辨这个场景是人类处理的还是机器人处理的。很显然，Jim Fan 以及英伟达正在朝着让机器人和 AI 通过这个物理图灵测试而努力。

5/12/2025 9:02:00 AM

大模型集体“挂科”！全新中文网页检索测试：GPT-4o准确率仅6.2%

你以为大模型已经能轻松“上网冲浪”了？新基准测试集BrowseComp-ZH直接打脸主流AI。 BrowseComp-ZH是一项由港科大（广州）、北大、浙大、阿里、字节跳动、NIO等机构联合发布的新基准测试集，让20多个中外主流大模型集体“挂科”：GPT-4o在测试中准确率仅6.2%；多数国产/国际模型准确率跌破10%；即便是目前表现最好的OpenAI DeepResearch，也仅得42.9%。

5/6/2025 3:32:23 PM

64页论文揭示AI模型排行榜黑幕：Llama4发布前私下测试27个版本，只取最佳成绩

近日，一篇名为《排行榜幻觉》的论文在学术界引发了广泛关注，尤其是对大型语言模型（LLM）领域中备受推崇的 Chatbot Arena 排行榜提出了严厉质疑。研究指出，排行榜的可信度因数据访问不平等、模型私下测试等问题而受到挑战。论文显示，一些大型科技公司可以在公开发布之前对多个模型版本进行私下测试。

5/3/2025 11:00:48 AM

AI在线

程序员挑战极限：在古老的 DOS 系统上成功运行 Llama 2 模型

在科技飞速发展的今天，一位勇敢的程序员选择回归经典，尝试在老旧的 DOS 环境中运行 Meta 公司最新发布的大语言模型 Llama2。 Yeo Kheng Meng，这位因开发 ChatGPT DOS 客户端而声名鹊起的程序员，花费了一个周末的时间，成功地将这个大型语言模型移植到传统计算环境中，展现了无与伦比的技术创造力。项目的起步得益于开源代码的便利。

4/30/2025 9:01:01 AM

AI在线

中杯o3成OpenAI“性价比之王”？ARC-AGI测试结果出炉：得分翻倍、成本仅1/20

得分比第二名翻倍，成本却仅为1/20？ o3中杯在超难推理任务ARC-AGI上的新成绩，属实又给众人带来了亿点点震撼。根据ARC Prize官方介绍，本轮测试得出的关键结论如下：o3 (Medium) 在ARC-AGI-1上得分为57%，成本为1.5美元/任务，优于目前所有已知COT推理模型；o4-mini（Medium）在ARC-AGI-1上得分为42%，成本为0.23美元/任务，准确率不足但成本优势明显；在难度升级的ARC-AGI-2上，两种型号模型的准确率均未超过3%。

4/23/2025 11:19:31 AM

量子位

满血o3降智和幻觉倍增的原因可能找到了

OpenAI推出的满血O3“跑分”（Benchmark）貌似又被独立测试揭穿是刷榜了，而奇怪的测试基准数据可能就是o3降智和幻觉倍增的原因？你可能要问了，一个数学基准测试，与降智和幻觉有什么关系？事情要从去年12月说起。

4/22/2025 9:18:57 AM

AI寒武纪

o3/o4-mini幻觉暴增2-3倍！OpenAI官方承认暂无法解释原因

OpenAI新模型发布后，大家体感都幻觉更多了。甚至有人测试后发出预警：使用它辅助编程会很危险。图片具体来说，它经常捏造从未运行过的代码返回结果，在被质问时找理由狡辩，甚至还会说是用户的错。

4/21/2025 4:25:58 PM

Llama 4发布36小时差评如潮！匿名员工爆料拒绝署名技术报告

Meta最新基础模型Llama 4发布36小时后，评论区居然是这个画风：失望，非常失望不知道他们后训练怎么搞的，总之不太行在[各种测试]2中失败……还被做成表情包调侃，总结起来就是一个“差评如潮”。具体来看，大家的抱怨主要集中在代码能力。最直观的要数经典“氛围编程”小球反弹测试，小球直接穿过墙壁掉下去了。

4/8/2025 3:44:00 AM