AI在线 AI在线

RemeDi 9B

从掩码生成到「再掩码」训练:RemeDi让扩散语言模型学会自我纠正与反思

近期,扩散语言模型备受瞩目,提供了一种不同于自回归模型的文本生成解决方案。 为使模型能够在生成过程中持续修正与优化中间结果,西湖大学 MAPLE 实验室齐国君教授团队成功训练了具有「再掩码」能力的扩散语言模型(Remasking-enabled Diffusion Language Model, RemeDi 9B)。 在扩散去噪的多步过程中,通过进行再掩码 SFT 和 RL 训练,为每个 token 输出一个去掩码置信度,RemeDi 能够从序列中已经生成的内容中识别无法确定的位置进行再掩码(remask),从而修正错误内容并提升文本质量,在各方面都超越了现有的扩散语言模型。
10/16/2025 11:02:00 AM
机器之心
  • 1