AI在线 AI在线

SFT

扩散LLM推理用上类GRPO强化学习！优于单独SFT，UCLA、Meta新框架d1开源

扩散LLM推理用上类GRPO强化学习！优于单独SFT，UCLA、Meta新框架d1开源
当前，强化学习（RL）方法在最近模型的推理任务上取得了显著的改进，比如 DeepSeek-R1、Kimi K1.5，显示了将 RL 直接用于基础模型可以取得媲美 OpenAI o1 的性能。 不过，基于 RL 的后训练进展主要受限于自回归的大语言模型（LLM），它们通过从左到右的序列推理来运行。 与此同时，离散扩散大语言模型（dLLM）成为有潜力的语言建模的非自回归替代。
4/20/2025 2:34:00 PM
机器之心
新开普：星普大模型表现出色，算力消耗显著降低

新开普：星普大模型表现出色，算力消耗显著降低
在最近的一次机构电话交流会上，新开普公司透露了其自研的星普大模型的最新测评结果。 该模型采用了 SFT（监督微调）与 RL(强化学习)的训练技术，在智能推理效果上与 DeepSeek-R1相近，且算力消耗仅为 DeepSeek-R1的1/20。 这一成果不仅彰显了新开普在人工智能领域的研发实力，同时也为降低硬件投入提供了可能。
3/7/2025 6:00:00 PM
AI在线
全球首次！2B复现DeepSeek-R1「啊哈时刻」，UCLA等用纯RL实现多模态推理

全球首次！2B复现DeepSeek-R1「啊哈时刻」，UCLA等用纯RL实现多模态推理
就在刚刚，我们在未经监督微调的2B模型上，见证了基于DeepSeek-R1-Zero方法的视觉推理「啊哈时刻」！ 这一成就，再次让AI社区轰动。 博客地址：：，能成功扩展到多模态推理领域吗？
3/6/2025 1:00:00 AM
新智元
Sebastian Raschka：关于DeepSeek R1和推理模型，我有几点看法

Sebastian Raschka：关于DeepSeek R1和推理模型，我有几点看法
著名 AI 研究者和博主 Sebastian Raschka 又更新博客了。 这一次，他将立足于 DeepSeek 技术报告，介绍用于构建推理模型的四种主要方法，也就是如何通过推理能力来增强 LLM。 Sebastian Raschka 表示：「我希望这能提供有价值的见解，并帮助你了解围绕这一主题的快速演变的文献和话题炒作。
2/9/2025 2:42:00 PM
机器之心
【Text2sql】低资源场景下Text2SQL方法

【Text2sql】低资源场景下Text2SQL方法
SFT的text2sql方法SFT使模型能够遵循输入指令并根据预定义模板进行思考和响应。 如上图是用于通知模型在推理过程中响应角色的角色标签。 后面的内容表示模型需要遵循的指令，而后面的内容传达了当前用户对模型的需求。
12/5/2024 12:22:43 PM
余俊晖
将偏好学习引入模型训练，北大李戈团队新框架，可显著提升代码准确性与执行效率

将偏好学习引入模型训练，北大李戈团队新框架，可显著提升代码准确性与执行效率
代码模型SFT对齐后，缺少进一步偏好学习的问题有解了。 北大李戈教授团队与字节合作，在模型训练过程中引入偏好学习，提出了一个全新的代码生成优化框架——CodeDPO。 在部分模型上，相比于单独使用SFT，CodeDPO能够将模型的HumanEval得分再多提升10个百分点，最高增幅接近1/3。
11/27/2024 1:36:10 PM
中国电信 AI 研究院完成首个全国产化万卡万参大模型训练，TeleChat2-115B 对外开源

中国电信 AI 研究院完成首个全国产化万卡万参大模型训练，TeleChat2-115B 对外开源
“中国电信人工智能研究院”官方公众号今天宣布，中国电信人工智能研究院（AI在线注：下文称 TeleAI）成功完成国内首个基于全国产化万卡集群训练的万亿参数大模型，并正式对外开源首个基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型 —— 星辰语义大模型 TeleChat2-115B。官方表示，这项科研成果标志着国产大模型训练真正实现全国产化替代，正式进入全国产自主创新、安全可控的新阶段。TeleChat2-115B 基于中国电信自研的天翼云“息壤一体化智算服务平台”和人工智能公司“星海 AI 平台”训练完成
9/28/2024 6:38:22 PM
清源
LLaMA-2-7B数学能力上限已达97.7%？Xwin-Math利用合成数据解锁潜力

LLaMA-2-7B数学能力上限已达97.7%？Xwin-Math利用合成数据解锁潜力
合成数据持续解锁大模型的数学推理潜力！数学问题解决能力一直被视为衡量语言模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学问题上表现出色。近日，一项由 Swin-Transformer 团队打造，来自西安交通大学、中国科学技术大学、清华大学和微软亚洲研究院的学者共同完成的研究工作 Xwin 颠覆了这一认知，揭示了通用预训练下 7B（即 70 亿参数）规模的语言模型（LLaMA-2-7B）在数学问题解决方面已经展现出较强的潜力，并可使用基于合成数据的有监督微调方法促使模型愈发
3/14/2024 2:47:00 PM
机器之心
  • 1