AI在线 AI在线

GRPO-Guard

GRPO训练不再「自嗨」!快手可灵 x 中山大学推出「GRPO卫兵」,显著缓解视觉生成过优化

论文第一作者为王晶,中山大学二年级博士生,研究方向为强化学习与视频生成;通讯作者为中山大学智能工程学院教授梁小丹。 目前,GRPO 在图像和视频生成的流模型中取得了显著提升(如 FlowGRPO 和 DanceGRPO),已被证明在后训练阶段能够有效提升视觉生成式流模型的人类偏好对齐、文本渲染与指令遵循能力。 在此过程中,重要性比值的 clip 机制被引入,用于约束过于自信的正负样本梯度,避免破坏性的策略更新,从而维持训练的稳定性。
11/13/2025 1:04:00 PM
机器之心