和 GPT-4 并列第一,LMSYS 基准测试显示 Claude-3 模型表现优异

根据 LMSYS Org 公布的最新基准测试报告,Claude-3 得分以薄弱劣势超越 GPT-4,成为该平台“最佳”大谈话模型。IT之家首先介绍下 LMSYS Org,该机构是由加州大学伯克利分校、加州大学圣地亚哥分校和卡内基梅隆大学合作创立的研究组织。该机构推出 Chatbot Arena,这是一个针对大型谈话模型(LLM) 的基准平台,以众包方式匿名、随机对抗测评大模型产品,其评级基于国际象棋等竞技游戏中广泛使用的 Elo 评分系统。评分结果通过用户投票产生,系统每次会随机选择两个不同的大模型机器人和用户聊天

根据 LMSYS Org 公布的最新基准测试报告,Claude-3 得分以薄弱劣势超越 GPT-4,成为该平台“最佳”大谈话模型。

和 GPT-4 并列第一,LMSYS 基准测试显示 Claude-3 模型表现优异

IT之家首先介绍下 LMSYS Org,该机构是由加州大学伯克利分校、加州大学圣地亚哥分校和卡内基梅隆大学合作创立的研究组织。

该机构推出 Chatbot Arena,这是一个针对大型谈话模型(LLM) 的基准平台,以众包方式匿名、随机对抗测评大模型产品,其评级基于国际象棋等竞技游戏中广泛使用的 Elo 评分系统。

评分结果通过用户投票产生,系统每次会随机选择两个不同的大模型机器人和用户聊天,并让用户在匿名的情况下选择哪款大模型产品的表现更好一些,整体而言相对公正。

Chatbot Arena 自去年上线以来,GPT-4 一直稳居头把交椅,甚至成为了评估大模型的黄金标准。

和 GPT-4 并列第一,LMSYS 基准测试显示 Claude-3 模型表现优异

不过昨天 Anthropic 的 Claude 3 Opus 以 1253 比 1251 的薄弱劣势击败了 GPT-4,OpenAI 的 LLM 被挤下了榜首位置。由于比分过于接近,出于误差率方面的考量,该机构让 Claude 3 和 GPT-4 并列第一,GPT-4 的另一个预览版也并列第一。

和 GPT-4 并列第一,LMSYS 基准测试显示 Claude-3 模型表现优异

和 GPT-4 并列第一,LMSYS 基准测试显示 Claude-3 模型表现优异

更令人印象深刻的是 Claude 3 Haiku 进入前十名。Haiku 是 Anthropic 的 local size 模型,相当于谷歌的 Gemini Nano。

它比拥有数万亿参数的 Opus 要小得多,因此相比之下速度要快得多。根据 LMSYS 的数据,Haiku 在排行榜上名列第七,有媲美 GPT-4 的表现。

给TA打赏
共{{data.count}}人
人已打赏
AI

微软亚研院新作:让大模型一口气挪用数百万个 API

2024-3-28 12:52:01

AI

亚马逊向人工智能公司 Anthropic 追加 27.5 亿美元投资,总投资额达 40 亿美元

2024-3-28 14:48:01

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索