最新华文大模型测评:百川智能 Baichuan 3 国际第一

感谢IT之家从百川大模型官方公众号获悉,今日国际大模型评测机构 SuperCLUE 发布了《华文大模型基准测评 2024 年度 4 月陈述》,陈述选取国际外具有代表性的 32 个大模型 4 月份的版本,通过多维度综合性测评,对国际外大模型发展现状进行观察与思考。陈述显示,百川智能的 Baichuan 3 在国际大模型中排名第一,智谱 GLM-4、通义千问 2.1、文心一言 4.0、Moonshot (Kimi) 等大模型位列其后。从全球范围来看,国外同行的 GPT-4、Claude3 得分更胜一筹。SuperCLU

感谢IT之家从百川大模型官方公众号获悉,今日国际大模型评测机构 SuperCLUE 发布了《华文大模型基准测评 2024 年度 4 月陈述》,陈述选取国际外具有代表性的 32 个大模型 4 月份的版本,通过多维度综合性测评,对国际外大模型发展现状进行观察与思考。陈述显示,百川智能的 Baichuan 3 在国际大模型中排名第一,智谱 GLM-4、通义千问 2.1、文心一言 4.0、Moonshot (Kimi) 等大模型位列其后。从全球范围来看,国外同行的 GPT-4、Claude3 得分更胜一筹。

最新华文大模型测评:百川智能 Baichuan 3 国际第一

SuperCLUE 是国际通用大模型综合性测评基准,其前身是第三方华文言语明白测评基准 CLUE(The Chinese Language Understanding Evaluation)。不同于传统测评通过选择题形式的测评,SuperCLUE 纳入了开放主观问题的测评。通过多维度多视角多层次的评测体系以及对话的形式,模拟大模型应用场景,真实有效的考核模型生成威力。同时,SuperCLUE 通过构建多轮对话场景,更深层次考核大模型在真实多轮对话场景的应用效果,对大模型的上下文、记忆、对话威力全方位评测。

据介绍,SuperCLUE 本次测评由十大基础任务组成,包括逻辑推理、代码、言语明白、长文本、角色扮演等,题目为多轮开放式简答题。评测集共 2194 题。

测试结果显示,Baichuan3 的文科、理科威力均衡。在知识百科威力上 Baichuan 3 以 82 分的成果超过了 GPT-4-Turbo,在所有 32 个参与评测的国际外大模型中排名第一。而在代表了大模型智力的“逻辑推理”威力上以 68.60 的成果超过 Claude3-Opus,也力压一众国际大模型拔得头筹。此外,在计算、代码、工具使用威力上 Baichuan 3 表现同样不俗,均排名国际前三。

最新华文大模型测评:百川智能 Baichuan 3 国际第一

给TA打赏
共{{data.count}}人
人已打赏
AI

高通骁龙 X Elite / X Plus 战舰成型,赋能 AI PC 时代千帆竞渡

2024-4-30 17:09:21

AI

AI 猜测蝴蝶效应?google最新气象预告模型 SEEDS 登 Science 子刊

2024-5-1 14:47:15

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索