9月16日消息，夸克将其训练健康大模型的医师考试测试集悉数公开，这是国内首个覆盖全阶段医师考试的大模型测试集。
据了解，前不久夸克健康大模型成功通过中国 12 门核心学科的主任医师笔试评测，并发布技术报告《QuarkMed Technical Report》，公开了“主任医师级”能力技术实现细节。通过公开模型研发技术与医师考试测试集，夸克旨在推动AI与医疗相融合的进一步发展。
此前国内一直缺少一款时效性高、覆盖面全的医师考试测试集。夸克本次公开的医师考试测试集覆盖执业医师、主治医师、副主任医师、主任医师全阶段考试，精选普通内科学、普通外科学、妇产科学、儿科学等12门核心学科，共计约7600道题，真题部分均取自2024年最新考试。
该测试集将不同测试等级有效梯度化。初级考试以单选题、记忆类题目为主，随着考试级别升高，多选题、案例分析题比例随之升高，对模型的推理能力也要求越高。梯度化的测试集能为模型测试提供更明确的标准，并能有效发现模型短板、推动模型优化升级。
壹生检康 CEO 王强宇表示，该测试集让创业团队少走很多弯路，豆蔻妇科大模型训练过程中遇到的关键难题是如何评判模型性能，“MedBench这些通用医疗基准在妇科场景下适配性很差，无法准确衡量模型真实水平。有了夸克这套专业测试集，我们不用在基础素材上耗费精力，能把更多资源投入到模型算法优化、妇科场景深度适配这些核心工作上。”
