Unsolved Questions

大模型碰到真难题了，测了500道，o3 Pro仅通过15%

基准测试是检验大模型能力的一种方式，一般而言，一个有用的基准既要足够难，又要贴近现实：问题既能挑战前沿模型，又要反映真实世界的使用场景。然而，现有测试面临着「难度–真实性」的矛盾：侧重于考试的基准往往被人为设置得很难，但实际价值有限；而基于真实用户交互的基准又往往偏向于简单的高频问题。在此背景下，来自斯坦福大学、华盛顿大学等机构的研究者探索了一种截然不同的方式：在未解决的问题上评估模型的能力。

9/14/2025 1:23:00 PM

机器之心

资讯热榜

看完刘润年度演讲，教你做好AI时代的能力迁徙！苹果Siri将大变样！付费请谷歌助力AI升级蚂蚁数科发布多语种视觉大模型训练框架，打破语言壁垒！ LangChain 大模型应用开发框架：从 RAG 到 Agent 的完整指南黑客新手法：利用 OpenAI API 创建 “隐形” 后门恶意软件谷歌推出新款 Vertex AI 代理构建工具，助力企业智能化中国华电发布 “华电智” 大模型，能源管理进入智能新时代谷歌流量显著下降，People Inc. 与微软达成 AI 内容授权协议

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画大模型机器人数据 Midjourney 开源 Meta AI新词微软智能用户 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法 Agent AI for Science 芯片苹果 Claude 腾讯 Stable Diffusion 蛋白质开发者生成式神经网络 xAI 机器学习 3D RAG 人形机器人 AI视频研究大语言模型具身智能生成百度 Sora 工具 GPU 华为计算字节跳动 AI设计大型语言模型 AGI 搜索视频生成场景深度学习架构生成式AI DeepMind 亚马逊编程视觉 Transformer AI模型预测特斯拉 MCP