过河

大模型测试题爆火，GPT-4 和 Claude3 都跪了，LeCun 转发：新 Benchmark

一项新的“大模型 Benchmark”在推特上爆火，LeCun 也点赞转发了！而且无论是 GPT-4 还是 Claude 3，面对它都如同被夺了魂，无法给出正确答案。难倒一众大模型的，是逻辑学当中经典的“动物过河”问题，有网友发现，大模型对此类问题表现得很不擅长。甚至有人观察到，几个不同的模型都给出了一致的（错误）答案，让人怀疑他们是不是用了相同的训练数据。针对这项测试，网友还定义了一个新的名词叫“劣效比率”（crapness ratio），让 LeCun 打趣说到，一项新的“Benchmark”诞生了。“模见模愁

6/24/2024 5:02:02 PM

清源

资讯热榜

DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜多模态新旗舰MiniCPM-V 4.5：8B 性能超越 72B，高刷视频理解又准又快 Meta 新超级智能实验室遭遇离职潮，AI 人才流失引发担忧宾州州立大学推出首个人工智能工程学位，抢占教育先机联合国成立人工智能咨询小组开发者写代码仅占16%!MCP 协议或让 IDE 成为新“生产力中心” AI 安全测试揭示聊天机器人助长恐怖活动与网络犯罪陈丹琦，入职Thinking Machines Lab了？

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能 Meta 用户微软 GPT 学习技术图像 Gemini 马斯克 AI创作智能体英伟达 Anthropic 论文代码训练 AI新词算法 Stable Diffusion LLM 芯片蛋白质开发者腾讯 Claude 苹果生成式 AI for Science Agent 神经网络 3D 机器学习研究 xAI 生成人形机器人 AI视频计算百度 Sora GPU AI设计华为工具大语言模型 RAG 搜索具身智能字节跳动大型语言模型场景深度学习预测视频生成伟达视觉 Transformer AGI 架构亚马逊神器推荐 Copilot 应用 DeepMind 特斯拉