AI在线 AI在线

RemeDi 9B

从掩码生成到「再掩码」训练：RemeDi让扩散语言模型学会自我纠正与反思

从掩码生成到「再掩码」训练：RemeDi让扩散语言模型学会自我纠正与反思
近期，扩散语言模型备受瞩目，提供了一种不同于自回归模型的文本生成解决方案。 为使模型能够在生成过程中持续修正与优化中间结果，西湖大学 MAPLE 实验室齐国君教授团队成功训练了具有「再掩码」能力的扩散语言模型（Remasking-enabled Diffusion Language Model, RemeDi 9B）。 在扩散去噪的多步过程中，通过进行再掩码 SFT 和 RL 训练，为每个 token 输出一个去掩码置信度，RemeDi 能够从序列中已经生成的内容中识别无法确定的位置进行再掩码（remask），从而修正错误内容并提升文本质量，在各方面都超越了现有的扩散语言模型。
10/16/2025 11:02:00 AM
机器之心