AI在线 AI在线

SimKO

SimKO：缓解RLVR训练中的概率过度集中，优化pass@K性能

SimKO：缓解RLVR训练中的概率过度集中，优化pass@K性能
作者彭若天是西湖大学和浙江大学联培博士生，任毅是不列颠哥伦比亚大学博士，郁昼亮是香港中文大学博士生，刘威杨是香港中文大学计算机系助理教授，温研东是西湖大学人工智能系助理教授随着 Deepseek-R1，Kimi1.5 等模型展示了强化学习在提升大型语言模型复杂推理能力上的巨大潜力，使用可验证强化学习（RLVR）在数学、逻辑与编程等领域进行训练提升模型性能受到了广泛关注。 然而，尽管现有 RLVR 方法在提升模型的 pass@1 性能（单次尝试正确的概率）方面取得了显著成果，但其在 pass@K（K 次尝试中至少一次正确的概率，K1）上的性能相比基础模型却下降了。 这一现象表明，虽然模型在「利用」（Exploitation）单一正确路径的能力有所增强，但牺牲了对多样化正确解的「探索」（Exploration）能力。
11/8/2025 1:54:00 PM
机器之心
  • 1