对比式非似然训练

像人类一样在批评中学习成长，1317条评语让LLaMA2胜率飙升30倍

除了分数，打出分数背后的理由对于大模型对齐更具价值。现有的大模型对齐方法包括基于示例的监督微调（SFT）和基于分数反馈的强化学习（RLHF）。然而，分数只能反应当前回复的好坏程度，并不能明确指出模型的不足之处。相较之下，我们人类通常是从语言反馈中学习并调整自己的行为模式。就像审稿意见不仅仅是一个分数，还包括许多接受或者拒绝的理由。那么，大语言模型能否也像人类一样利用语言反馈来改善自身呢？最近，香港中文大学和腾讯 AI Lab 的研究者们提出了一项名为对比式非似然训练（Contrastive Unlikelihood

2/4/2024 3:21:00 PM

机器之心

资讯热榜

蚂蚁集团携手北医三院成立AI医疗联合实验室打造专属AI就医助理多模态新旗舰MiniCPM-V 4.5：8B 性能超越 72B，高刷视频理解又准又快宾州州立大学推出首个人工智能工程学位，抢占教育先机开发者写代码仅占16%!MCP 协议或让 IDE 成为新“生产力中心” 刚刚，好莱坞特效师展示AI生成的中文科幻大片，成本只有330元 Meta 新超级智能实验室遭遇离职潮，AI 人才流失引发担忧 DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜联合国成立人工智能咨询小组

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini 马斯克 AI创作智能体英伟达论文 Anthropic 代码训练算法 AI新词 Stable Diffusion 芯片 LLM 蛋白质开发者腾讯苹果 Claude 生成式 Agent AI for Science 神经网络 3D 机器学习研究生成 xAI 人形机器人 AI视频计算 Sora 百度 GPU AI设计华为工具大语言模型 RAG 搜索具身智能字节跳动大型语言模型场景深度学习预测视频生成伟达视觉 Transformer AGI 架构亚马逊神器推荐 Copilot DeepMind 特斯拉应用