训练

强化学习Scaling Law错了？无需蒸馏，数据量只要1/6，效果还更好

DeepSeek-R1带火了使用强化学习训练LLM。在训练中，AI灵机一动，让作者耳目一新，甚至因此惊叹到：这就是强化学习的力与美！ DeepSeek-R1-Zero惊艳了研究人员然而，对RL训练的理解存在空白：这些工作的训练数据的透明度有限，谁知道是方法好还是数据集质量好？

2/18/2025 3:02:13 PM

新智元

嚯！大语言扩散模型来了，何必只预测下一个token | 人大高瓴&蚂蚁

用扩散模型替代自回归，大模型的逆诅咒有解了!人大高瓴人工智能研究院、蚂蚁共同提出LLaDA（a Large Language Diffusion with mAsking）。 LLaDA-8B在上下文学习方面与LLaMA3-8B能力相当，而且在反转诗歌任务中超越GPT-4o。在大语言模型领域，反转诗歌是一个特殊任务，它用来评估模型在处理语言模型的双向依赖关系和逻辑推理能力。

2/18/2025 1:00:00 PM

量子位

北大、KAUST、字节联合提出“可逆扩散模型”赋能图像重建，代码已开源！

本篇文章来自公众号粉丝投稿，论文提出了一种可逆扩散模型（Invertible Diffusion Models，IDM）。这一方法通过引入（1）端到端的训练框架与（2）可逆网络设计，有效提升了图像重建的性能与效率。一、论文信息论文标题：Invertible Diffusion Models for Compressed Sensing论文作者：Bin Chen（陈斌）, Zhenyu Zhang（张振宇）, Weiqi Li（李玮琦）, Chen Zhao（赵琛）, Jiwen Yu（余济闻）, Shijie Zhao（赵世杰）, Jie Chen（陈杰） and Jian Zhang（张健）作者单位：北京大学信息工程学院、阿卜杜拉国王科技大学、字节跳动发表刊物：IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)发表时间：2025年2月5日正式版本：：：、任务背景扩散模型作为当前非常知名且强大的生成模型之一，已在图像重建任务中展现出极大的潜力。

2/18/2025 9:27:20 AM

Bin Chen等

DeepSeek团队新作：把代码变成思维链，大模型推理各种能力全面提升

用代码训练大模型思考，其他方面的推理能力也能提升。 DeepSeek团队最新研究，利用300多万个实例，将代码转换成思考过程，构建出数据集CODEI/O，对Qwen、Llama等模型进行了训练。结果，在各种类型的推理任务当中，模型性能都取得了全面提升，包括在非代码类的推理任务上，也展现出了良好的迁移能力。

2/17/2025 2:43:51 PM

量子位

直逼DeepSeek-R1-32B，碾压李飞飞s1！UC伯克利等开源全新SOTA推理模型

32B推理模型，仅用1/8数据，与同尺寸DeepSeek-R1打成平手！就在刚刚，来自斯坦福、UC伯克利、华盛顿大学等机构联手发布了一款SOTA级推理模型——OpenThinker-32B，并同时开源了高达114k的训练数据。项目主页： Face：：：采用经DeepSeek-R1验证标注（基于R1蒸馏）的大规模优质数据集，便可训练出SOTA的推理模型。

2/14/2025 9:20:00 AM

新智元

打破纪录！谷歌全网扒1000亿图像文本对，ViT大佬坐镇：数据Scaling潜力依旧

史上最大规模视觉语言数据集：1000亿图像-文本对！较此前纪录扩大10倍。这就是由谷歌推出的最新数据集WebLI-100B。

2/14/2025 9:17:00 AM

量子位

o3斩获IOI金牌冲榜全球TOP 18，自学碾压顶尖程序员！48页技术报告公布

几天前，谷歌AlphaGeometry 2拿下IMO金牌，震惊了所有人。这次，o3在IOI 2024竞赛中取得惊人的394分（满分600），一举夺得金牌，实力相当于全球第18名赛级选手。不仅如此，在世界级编程竞赛CodeForces上，o3位居全球Top 200之列，堪比人类顶尖程序员。

2/14/2025 8:30:00 AM

新智元

DeepSeek并非完美，训练过程存在“深度诅咒”

高性能大模型在训练的过程中通常需要数千个GPU，耗费数月甚至更长时间才能完成一次训练。这种巨大的资源投入使得模型的每一层都必须高效训练，才能确保算力资源最大化利用。但大连理工、西湖大学、牛津大学等研究人员对DeepSeek、Qwen、Llama和Mistral研究发现，这些模型的深层在训练过程中表现并不好，甚至可以被完全剪枝而不会影响模型性能。

2/12/2025 1:42:25 PM

AIGC开放社区

AI太强，验证码全失效？新南威尔士全新设计：GPT傻傻认不出，人类一致好评

验证码通过利用人类与机器的认知差异实现身份验证。传统的验证码方案主要依赖文本扭曲[1]、图像分类[2,3]或逻辑推理[4]来区分人类与机器，但随着多模态LLMs(Large Language Model)的发展[5]，这些方法逐渐失效，机器也能达到人类水平的认知。 GPT-4o对简单「文本验证码」的破解成功率超过90%，Gemini 1.5 Pro 2.0[6]能识别带噪声的「reCAPTCHA图像」（成功率50%）；LLMs在「推理验证码」上的表现较差（平均成功率20%），但人类用户的失败率也同样很高。

2/12/2025 1:37:56 PM

新智元

DeepSeek R1 搭建个人 AI 知识库

前言上一篇文章写到了部署本地deepseek，基于这篇文章，继续讲一下如何搭建自己的知识库。可能很多人会有疑问，本地部署有什么优势呢。其实如果不是有特别的技术研究和比较私密的数据，可以不用搭建。

2/12/2025 12:12:59 PM

cqhly

Deepseek的前世今生

DeepSeek（深度求索）引起硅谷“恐慌”，性能超越了美国的顶尖模型，且研发成本更低，使用的芯片性能也较弱。甚至有人猜测DeepSeek（深度求索）模型对美国股市都构成了威胁。中国AI公司证明了用有限的计算资源，足以做出顶尖水平的模型。

2/12/2025 11:25:39 AM

小扒

AI已学会自我复制！复旦新研究：开源LLM克隆成功率最高90%

AI已跨越关键「红线」，实现了自我复制。复旦大学的研究人员在一项新研究中，展示了两种开源的LLM具备自我克隆的能力。在没有人类帮助的情况下，AI成功实现自我复制，这不仅是它超越人类的关键一步，也是「流氓AI」出现的早期信号。

2/12/2025 10:05:00 AM

新智元

突发！马斯克 vs 奥特曼，974亿美金收购OpenAI战打响，老马直言奥特曼是“诈骗犯”

💣 重磅炸弹！马斯克974亿美元天价求购OpenAI！奥特曼直接“泼冷水”：没兴趣，不如我买你X？

2/11/2025 11:19:52 AM

AI寒武纪

清华姚班校友等揭Transformer致命缺陷，OpenAI科学家紧急回应：学术界节奏太慢

谁能想到，一篇于2023年发表的LLM论文，竟然在一年半之后又「火」了。聊天机器人开始面临根本性的限制论文中，来自Ai2、华盛顿大学等机构研究人员称，Transformer在组合能力上存在限制。以基本的乘法为例，让「GPT-4」计算两个三位数的乘积，最初的正确率仅有59%。

2/11/2025 9:15:00 AM

新智元

推理时也能做偏好优化，无需额外重训练，来自上海AI Lab港中文等

随着大语⾔模型（LLMs）在各类任务中展现出令人瞩目的能力，如何确保它们⽣成的回复既符合预期又安全，始终是⼀项关键挑战。传统的偏好对⻬⽅法，如基于⼈类反馈的强化学习（RLHF）和直接偏好优化（DPO），依赖于训练过程中的模型参数更新，但在⾯对不断变化的数据和需求时，缺乏⾜够的灵活性来适应这些变化。为了突破这⼀瓶颈，上海人工智能实验室、香港中文大学等联合提出了推理时偏好优化（TPO）方法，通过在推理阶段与奖励模型交互，借助可解释的文本反馈，迭代优化模型输出，实现了即时的模型对⻬，⽽⽆需重新训练。

2/10/2025 2:05:00 PM

量子位