偏好

Qwen发布全新偏好建模模型系列WorldPM模型

阿里巴巴旗下Qwen团队宣布推出全新偏好建模模型系列——WorldPM，包括WorldPM-72B及其衍生版本WorldPM-72B-HelpSteer2、WorldPM-72B-RLHFLow和WorldPM-72B-UltraFeedback。这一发布引发了全球AI开发者社区的广泛关注，被认为是偏好建模领域的重要突破。 WorldPM:偏好建模的规模化新探索WorldPM（World Preference Modeling）是Qwen团队在偏好建模领域的最新力作。

5/19/2025 11:01:05 AM

AI在线

什么样的偏好，才叫好的偏好？——揭秘偏好对齐数据的「三驾马车」

论文有两位共同一作。何秉翔，清华大学博士一年级，研究方向为大语言模型对齐、强化学习。张文斌，哈尔滨工业大学博士一年级，研究方向为自然语言处理。

4/15/2025 10:51:00 AM

机器之心

英伟达开源模型 Nemotron-70B 超越 GPT-4o 和 Claude 3.5，仅次于 OpenAI o1

刚刚，英伟达开源了超强模型 Nemotron-70B，后者一经发布就超越了 GPT-4o 和 Claude 3.5 Sonnet，仅次于 OpenAI o1！AI 社区惊呼：新的开源王者又来了？业内直呼：用 Llama 3.1 训出小模型吊打 GPT-4o，简直是神来之笔！

10/17/2024 10:48:31 PM

问舟

模型偏好只与大小有关？上交大全面解析人类与32种大模型偏好的定量组分

在目前的模型训练范式中，偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中，偏好数据通常被用作对齐（alignment）时的训练优化目标，如基于人类或 AI 反馈的强化学习（RLHF/RLAIF）或者直接偏好优化（DPO），而在模型评估中，由于任务的复杂性且通常没有标准答案，则通常直接以人类标注者或高性能大模型（LLM-as-a-Judge）的偏好标注作为评判标准。尽管上述对偏好数据的应用已经取得了广泛的成效，但对偏好本身则缺乏充足的研究，这很大程度上阻碍了对更可信 AI 系统的构建。为此，上海交通大学生成式

3/4/2024 11:13:00 AM

机器之心