数据
LeCun力荐!进化算法淘汰77%低质数据:RIP方法让模型性能狂飙60%
在LLM的开发中,推动模型进步的主要驱动力是精心挑选高质量的训练示例。 虽然Scaling Law的确能实现「力大砖飞」,但仅仅增加数据量并不能保证模型性能的提升,数据的质量才是关键。 低质量的数据可能会引入噪声,影响模型的训练效果。
2/25/2025 9:17:47 AM
新智元
刚刚,全球首个混合推理模型Claude 3.7降世!最强编程大脑暴击DeepSeek R1
憋了大半年,Anthropic终于放出大招——首款混合推理模型Claude 3.7 Sonnet重磅登场! 这是Claude系列中,迄今为止最智能的模型,几乎能够及时响应,并进行可扩展的、逐步的思考。 简言之,一个模型,两种思考方式。
2/25/2025 9:13:16 AM
新智元
不用GAN不用扩散,无需训练解锁AI生图新境界!判别模型成神秘第三极
判别模型与生成模型长期以来彼此独立,前者专注于分类和识别,后者用于数据生成。 最近一项名为「直接上升合成」(Direct Ascent Synthesis,DAS)的独立研究,颠覆了这一传统观念,揭示出判别模型中隐藏着令人惊叹的生成能力。 论文链接:。
2/24/2025 1:35:00 PM
新智元
国外权威认证!DeepSeek超150万模型,成最受欢迎开源大模型
今天凌晨3点,全球最大开源平台之一huggingface联合创始人兼首席执行官Clement Delangue发布了最新数据:中国开源大模型DeepSeek-R1在150万模型中,成为该平台最受欢迎的开源大模型,点赞超过1万。 前不久,Clement还特意发文恭喜DeepSeek-R1的下载量超过1000万次,同样创造了huggingface平台有史以来最受欢迎的模型。 看来,Clement也吃到DeepSeek的红利了,对它是真爱啊连续表扬。
2/24/2025 10:01:23 AM
AIGC开放社区
出人意料!DeepSeek-R1用的GRPO其实没必要?规模化强化学习训练用PPO就够了
DeepSeek-R1 非常热门,而在其公布的训练配方中,GRPO(Group Relative Policy Optimization)非常关键,是 DeepSeek-R1 核心的强化学习算法。 PPO 与 GRPO 的对比,来自论文《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》相较于 PPO,GRPO 去掉了价值模型,而是通过分组分数来估计基线,从而可极大减少训练资源。 DeepSeek-R1 技术报告中写到:「具体来说,我们使用 DeepSeek-V3-Base 作为基础模型,并采用 GRPO 作为强化学习框架来提高模型的推理性能。
2/21/2025 12:24:14 PM
机器之心
再次颠覆学界想象,何恺明发表新作:扩散模型不一定需要噪声条件
一直以来,研究者普遍认为,去噪扩散模型要想成功运行,噪声条件是必不可少的。 而大神何恺明的一项最新研究,对这个观点提出了「质疑」。 「受图像盲去噪研究的启发,我们研究了各种基于去噪的生成模型在没有噪声调节的情况下的表现。
2/21/2025 9:40:00 AM
机器之心
京东联合地瓜机器人等多家企业高校,推出业内首个具身智能原子技能库架构
具身智能技术突破与应用是通向 AGI 的必经之路,目前全球科技公司正加速布局,包括特斯拉 Optimus、Agility Digit、波士顿动力 Atlas 及 Figure AI 等,今年蛇年春晚机器人“扭秧歌”也成为了人们茶余饭后的谈资。 随着大模型技术的进步,具身智能也迎来了快速的发展。 但在国内众多企业与高校推动相关技术发展的过程中,核心挑战仍在于具身操作泛化能力,即如何在有限具身数据下,使机器人适应复杂场景并实现技能高效迁移。
2/20/2025 10:09:00 AM
新闻助手
「诺奖风向标」2025斯隆奖公布,清华姚班大神霸榜!8位华人计算机科学家入选
2025斯隆研究奖,最新名单刚刚出炉! 今年,126位杰出的职业生涯早期科学家,荣获「诺奖风向标」斯隆研究奖。 这些学者凭借卓越的成就和巨大的发展潜力,成功跻身美国和加拿大新一代科学领军人物的行列。
2/19/2025 4:01:46 PM
新智元
Kimi新论文再次“撞车”DeepSeek,都谈到了长文注意力机制
Kimi背后的长上下文处理机制曝光了! 这项名为MoBA的新型注意力机制,能将处理1M长文本的速度一下子提升6.5倍,而且还是经过Kimi平台实际验证的那种。 概括而言,这项耗时一年半的工作主要看点在:把完整上下文划分成块,让每个查询token自动去关注最相关的KV块,这样就能高效处理长序列数据;提出一种新的参数无关的top-k门控机制,它能给每个查询token挑选出最相关的块,保证模型只聚焦在最有用信息的块上;支持在全注意力和稀疏注意力模式之间轻松切换;一言以蔽之,MoBA将MoE(专家混合)应用于注意力机制,通过遵循一种“less structure” 原则,允许模型自主决定关注哪些区域或位置。
2/19/2025 4:01:37 PM
量子位
英伟达CEO老黄预言:未来,每个人都有自己的AI导师!
AI导师时代来临,学习门槛将大幅降低! 在近日接受《财富》杂志采访时,黄仁勋直言:「AI的迅猛发展正在彻底改变知识获取的方式。 」以往学习一门新技能或进入陌生领域,需要投入大量时间和精力,而AI导师的出现让这一切发生了翻天覆地的变化。
2/19/2025 2:02:11 PM
新智元
马斯克“地表最强”Grok 3炸场,竞技场首超1400分
刚刚,马斯克xAI的Grok 3终于亮相(超300万人次围观)! 一出道即巅峰,竞技场(lmarena.ai)官方给出了这样的评价:Grok 3是首个突破1400分的模型,并且在所有类别中排名第一。 而且,Grok 3还是首个在10万张(后扩展到20万)H100集群上训练出的模型。
2/18/2025 3:09:07 PM
量子位
微软开放3.1T token高质量数据!通用/代码/数学/问答,全领域超越开源
过去几年,大型语言模型(LLMs)已经成为人工智能研究的一个关键领域,从大规模的自然语言数据中学习,使其能够以极高的准确率执行各种与语言相关的任务。 得益于模型扩展性方面的进展,研究人员能够创建具有前所未有复杂度的模型。 当前的研究趋势是致力于构建更大、更复杂的模型,具有数百/数千亿个参数,但大型语言模型的训练需要海量的训练数据,尤其随着模型参数量的上升,对于优质数据数量的要求也将进一步加大,优质数据量的缺乏极大限制了模型能力的进一步增长。
2/18/2025 3:03:58 PM
新智元
强化学习Scaling Law错了?无需蒸馏,数据量只要1/6,效果还更好
DeepSeek-R1带火了使用强化学习训练LLM。 在训练中,AI灵机一动,让作者耳目一新,甚至因此惊叹到:这就是强化学习的力与美! DeepSeek-R1-Zero惊艳了研究人员然而,对RL训练的理解存在空白:这些工作的训练数据的透明度有限,谁知道是方法好还是数据集质量好?
2/18/2025 3:02:13 PM
新智元
Nature:全球博士生数量锐减,钱少、事多、前途迷茫
过去几年,一些国家的博士项目申请人数出现下滑,有专家警告称,这是一个令人担忧的趋势。 从澳大利亚、日本到巴西和英国,高昂的生活成本、微薄的助学金以及毕业后有限的就业前景,正在阻碍人们攻读博士学位。 据经合组织(OECD)巴黎总部项目负责人斯拉里科表示,这些下降的数据应该「敲响警钟」。
2/17/2025 10:30:00 AM
新智元
DeepSeek官方发布R1模型推荐设置,这才是正确用法
自春节以来,DeepSeek 就一直是 AI 领域最热门的关键词,甚至可能没有之一,其官方 App 成为了史上最快突破 3000 万日活的应用。 最近一段时间,各家 AI 或云服务厂商更是掀起了部署 DeepSeek-R1 服务的狂潮,甚至让薅羊毛的用户们都有点忙不过来了。 就在刚刚,DeepSeek 官网 X 帐号终于更新了(上一次更新还是在 1 月 28 日),官方下场推荐了部署 DeepSeek-R1 的设置。
2/17/2025 7:35:00 AM
机器之心
1秒锁定7500万债务黑洞,OpenAI o系列模型7大实际应用案例
今早5点,OpenAI分享了o系列模型的7大实际应用场景,包括处理模糊任务、从海量信息中提取关键信息、复杂文档推理与决策、多流程AIAgent、视觉推理、代码审查以及性能评估。 在这些实际案例中,一家金融分析平台通过o系列模型成功找出了影响收购的关键变更条款,帮助公司节省了7500万美元。 此外,还解读了o系列推理模型与效率型GPT系列模型的区别,帮助你在实际应用中该如何高效选择这两种模型。
2/14/2025 10:44:13 AM
AIGC开放社区
直逼DeepSeek-R1-32B,碾压李飞飞s1!UC伯克利等开源全新SOTA推理模型
32B推理模型,仅用1/8数据,与同尺寸DeepSeek-R1打成平手! 就在刚刚,来自斯坦福、UC伯克利、华盛顿大学等机构联手发布了一款SOTA级推理模型——OpenThinker-32B,并同时开源了高达114k的训练数据。 项目主页: Face:::采用经DeepSeek-R1验证标注(基于R1蒸馏)的大规模优质数据集,便可训练出SOTA的推理模型。
2/14/2025 9:20:00 AM
新智元
打破纪录!谷歌全网扒1000亿图像文本对,ViT大佬坐镇:数据Scaling潜力依旧
史上最大规模视觉语言数据集:1000亿图像-文本对! 较此前纪录扩大10倍。 这就是由谷歌推出的最新数据集WebLI-100B。
2/14/2025 9:17:00 AM
量子位
资讯热榜
全新开源的DeepSeek-OCR,可能是最近最惊喜的模型!
刚刚,ChatGPT终于可以走遍整个互联网了!OpenAI深夜炸街:原生ChatGPT集成、即时理解、主动执行,浏览器赛道鲨疯了
告别抽卡!Vidu Q2多图参考生视频功能重磅上线
最强OCR竟然不是DeepSeek、Paddle!HuggingFace新作:六大顶尖开源OCR模型横评!继DS后又杀出匹黑马!
OpenAI首款ChatGPT浏览器发布!现在就能免费下载使用
OpenAI、Oracle 再加码 AI 基建:150亿美元 Lighthouse 园区启动建设
通义千问再放大招!Qwen3-VL 家族新增 2B 与 32B 模型,开源矩阵全面升级
保姆级教程!教你用Coze工作流2分钟生成优质文章
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
谷歌
AI绘画
机器人
数据
大模型
Midjourney
开源
Meta
智能
微软
用户
AI新词
GPT
学习
技术
智能体
马斯克
Gemini
图像
Anthropic
英伟达
AI创作
训练
LLM
论文
代码
算法
芯片
AI for Science
腾讯
Stable Diffusion
Agent
苹果
Claude
蛋白质
开发者
生成式
神经网络
xAI
机器学习
3D
人形机器人
研究
AI视频
生成
RAG
大语言模型
Sora
百度
具身智能
工具
GPU
华为
计算
字节跳动
AI设计
搜索
大型语言模型
AGI
视频生成
场景
深度学习
DeepMind
架构
生成式AI
视觉
编程
预测
Transformer
AI模型
伟达
特斯拉
Copilot