AI在线 AI在线

LLaDA

扩散LLM推理用上类GRPO强化学习！优于单独SFT，UCLA、Meta新框架d1开源

扩散LLM推理用上类GRPO强化学习！优于单独SFT，UCLA、Meta新框架d1开源
当前，强化学习（RL）方法在最近模型的推理任务上取得了显著的改进，比如 DeepSeek-R1、Kimi K1.5，显示了将 RL 直接用于基础模型可以取得媲美 OpenAI o1 的性能。 不过，基于 RL 的后训练进展主要受限于自回归的大语言模型（LLM），它们通过从左到右的序列推理来运行。 与此同时，离散扩散大语言模型（dLLM）成为有潜力的语言建模的非自回归替代。
4/20/2025 2:34:00 PM
机器之心
有望重新定义语言生成技术的扩散模型——LLaDA​

有望重新定义语言生成技术的扩散模型——LLaDA​
译者 | 朱先忠审校 | 重楼简介如果我们能让语言模型更像人类一样思考，结果会怎样？ 如果它们不是一次写一个字，而是先勾勒出自己的想法，然后逐渐完善，结果又会怎样？ 这正是大型语言扩散模型（LLaDA）所引入的：一种与大型语言模型（LLM）中当前使用的文本生成不同的方法。
3/17/2025 11:35:36 AM
朱先忠
语言模型新范式：首个8B扩散大语言模型LLaDA发布，性能比肩LLaMA 3

语言模型新范式：首个8B扩散大语言模型LLaDA发布，性能比肩LLaMA 3
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
2/17/2025 1:25:00 PM
机器之心
  • 1