数据
闲来无事，我测了测国产大模型的RAG能力 新智元 新智元 2025年01月27日 12:25 北京
最近，AI界被推理模型刷屏了。 国内各家的推理模型，在新年到来之际不断刷新我们的认知。 不过，当我们在实际应用中考量大模型，衡量好不好用的标准，就绝不仅仅局限于其性能和规模了。
1/27/2025 12:41:00 PM
新智元
在2025年初，浅浅聊一聊世界模型 World Models
Update 1月10日:感谢评论区补充world model在RL中的定义！ 感觉在RL中的定义，world model是针对一个具体子任务的模型，最近上述公司提到的World Model的尺度似乎更大、更加通用，更多从：Language Generation Model (ChatGPT)-Image Generation Model(StableDiffusion)-Video/3D Geneartion Model (二者各有侧重因此平级)-World Generation Model(同时具备时序和空间序建模)这么一个趋势。 当然这个World似乎想要包容一切，于是也并不清晰到底是什么样的表征：是否是video sequence?
1/27/2025 9:37:33 AM
原野寻踪
鄂维南李航领衔造高级论文搜索Agent，召回率和精准性超谷歌学术等，磕盐党狂喜
中科院院士鄂维南、字节AI实验室总监李航领衔，推出高级论文搜索Agent。 名为PaSa，两个Agent分别执行多轮搜索和判断论文是否满足查询要求的任务，模仿人类复杂学术搜索行为。 现在就有Demo可玩。
1/27/2025 9:00:00 AM
量子位
解密FedDAT：首个多模态异构联邦学习高效微调框架，突破数据异构与通信瓶颈！
FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning一、 一眼概览FedDAT提出了一种创新的双适配器教师框架（Dual-Adapter Teacher, DAT），结合参数高效微调和互知识蒸馏，解决了多模态异构联邦学习（FL）中的数据异构性问题，并在多个视觉-语言任务基准上取得了最优表现。 二、核心问题如何在多模态联邦学习环境中，在数据异构性和通信预算限制下，实现基础模型的高效分布式微调，以提升视觉-语言任务的性能，是本研究的核心问题。 三、 技术亮点1.
1/26/2025 9:07:46 AM
萍哥学AI
DeepSeek-R1持续震撼硅谷：跻身竞技榜前三，创始人梁文锋采访被“拿放大镜”看
“神秘东方力量”DeepSeek给硅谷带来的影响，还在不断泛起涟漪——刚刚，DeepSeek-R1跻身大模型竞技榜前三。 以开源、便宜20倍的“身价”与ChatGPT-4o（2024.11.20）并列。 在复杂提示词/风格控制榜单上，R1位列第一。
1/26/2025 8:00:00 AM
量子位
颠覆LLM格局！AI2新模型OLMo2，训练过程全公开，数据架构双升级
最近，非营利研究机构AI2上新了OLMo2系列模型，他们称之为「迄今为止最好的完全开源模型」。 OLMo 2系列包含7B和13B两个型号，相比如Llama 3.1和Qwen 2.5等开源模型达到了同等甚至更优的性能，同时FLOPS计算量更少，在性能和计算效率之间取得了极佳的平衡，为开源LLM开辟了新的可能性。 不同大小开源模型的性能对比，OLMo 2的表现优于同参数规模模型在多个下游任务上，OLMo 2展现出了强大的泛化能力和适应能力。
1/24/2025 3:40:00 PM
新智元
史上最难大模型测试集，千名专家铸成！没有模型得分超过10%，但DeepSeek-R1超o1
史上最难的大模型测试集来了！ 包括o1在内，没有任何一个模型得分超过10%。 题目来自500多家机构的1000多名学者，最终入围的题目有3000多道，全部都是研究生及以上难度。
1/24/2025 3:03:27 PM
量子位
阿里云通义大模型新技术：MoE模型训练专家平衡的关键细节
本周，在阿里云通义千问 Qwen 团队提交的一篇论文中，研究人员发现了目前最热门的 MoE（混合专家模型）训练中存在的一个普遍关键问题，并提出一种全新的方法——通过轻量的通信将局部均衡放松为全局均衡，使得 MoE 模型的性能和专家特异性都得到了显著的提升。 论文：《Demons in the Detail: On Implementing Load Balancing Loss for Training Specialized Mixture-of-Expert Models》论文链接： 模型训练中的关键问题混合专家模型（MoEs）通过路由机制动态并稀疏地激活模型参数，使得能高效地增大模型参数规模。 基于 TopK 机制的稀疏激活会在训练中会遇到专家激活不均衡的问题：少数被频繁选择的专家会被优化得更多，进一步使得这些专家被更频繁地选择，最终导致只选择少数专家，造成剩余专家的冗余。
1/24/2025 2:19:21 PM
机器之心
中国AI太强，Meta工程师吓疯？自曝疯狂熬夜复制DeepSeek，天价高管心虚了
今天，Meta员工在匿名社区TeamBlind上的一个帖子，在业内被传疯了。 DeepSeek，真实地给了美国人亿点点「震撼」。 DeepSeek R1是世界上首个与OpenAI o1比肩的AI模型，而且与o1不同， R1还是开源模型「Open Source Model」，比OpenAI还Open!更有人曝料，DeepSeek还只是个「副项目」，主业根本不是搞大模型！
1/24/2025 1:20:00 PM
新智元
小模型也能玩转RAG！性能仅降1%，存储省75%，边缘设备轻松跑
检索增强生成（RAG）虽好，但一直面临着资源消耗大、部署复杂等技术壁垒。 近日，香港大学黄超教授团队提出MiniRAG，成功将RAG技术的应用门槛降至1.5B参数规模，实现了算力需求的大幅降低。 这一突破性成果不仅为边缘计算设备注入新活力，更开启了基于小模型轻量级RAG的探索。
1/23/2025 5:00:00 PM
量子位
20K合成数据就能让大模型能力飙升！还能实现模型自我迭代，上海AI Lab数据合成新范式
仅使用20K合成数据，就能让Qwen模型能力飙升——模型主观对话能力显著提升，还能实现模型自我迭代。 最近，来自上海AI Lab的研究团队针对合成数据技术展开研究，提出了SFT数据合成引擎Condor，通过世界知识树（World Knowledge Tree）和自我反思（Self-Reflection）机制，探索合成海量高质量SFT数据的方案。 结果，他们还意外发现，在增大合成数据量的情况下，模型性能持续提升。
1/23/2025 9:15:00 AM
量子位
Anthropic CEO惊人预警：27年AI超越人类！Claude今年更新全剧透
失踪人口终于回归了！ 在互联网消失一段时间后，Anthropic首席执行官Dario Amodei一上来就接受了WSJ、CNBC两家采访，连曝AI大瓜。 他坚定地认为，「2027年之前，AI完全可以超越人类智能！
1/23/2025 9:00:00 AM
新智元
仅用25%数据实现性能超越！MapGS：解决特定传感器配置的在线建图模型训练问题
本文经3D视觉之心公众号授权转载，转载请联系出处。 避免传感器配置差异近年来，多模态传感器融合的新进展推动了自动驾驶应用中感知方法的发展。 这些进展涵盖了 3D 目标检测、在线地图生成与推理、占用预测，以及端到端框架的形式。
1/22/2025 10:40:00 AM
3D视觉之心
看破不可见数据集，自我监督学习成为细胞组学新的复杂系统处理利器
编辑丨&自我监督学习 SSL 是一个概念，即数据及其固有的成对关系足以学习有意义的数据表示。 监督学习依赖于成对的观察值和标签 ，而 SSL 仅依赖于输入和样本间关系 。 SSL 已成为一种强大的方法，用于从庞大、未标记的数据集中提取有意义的表示，从而改变计算机视觉和自然语言处理。
1/21/2025 7:11:00 PM
ScienceAI
人大、东北大学联合开发「图机器学习库」Jittor Geometric！性能超越PYG、DGL
近日，中国人民大学与东北大学联合开发了图机器学习库Jittor Geometric，其1.0版本近日已正式发布。 Jittor Geometric以国产深度学习框架Jittor为基础技术架构，聚焦图数据，在图存储、图计算、图学习等方面作了细致优化，整合、加速了现有多类图神经网络模型，模型运行时间在多种图学习任务上较Pytorch Geometric（PyG）、Deep Graph Library（DGL）等同类型框架提升10%~50%。 同时，Jittor Geometric简洁、易用、跨平台通用性强、用户学习成本低，目前已用于研究生课程教学。
1/21/2025 9:15:00 AM
新智元
追平满血版o1的国产多模态模型终于来了！训练细节全部公开
春节前最后一周，能媲美 Open AI 满血版 o1（Full Version，而非 preview）的模型终于出现了！ 刚刚，月之暗面公布了他们的 Kimi k 系列模型最新版本 ——k1.5 多模态思考模型。 新模型在数学、代码、多模态推理能力等方面全面对标 Open AI 满血版 o1，而且是 OpenAI 之外首个多模态 o1。
1/21/2025 8:00:00 AM
机器之心
多活十年！OpenAI为研究长寿推出GPT-4b，联手清华大牛丁胜搞“细胞重编程”，奥特曼本人投资
OpenAI要研究人类长寿问题了？ ？ 推出新模型GPT-4b micro。
1/20/2025 9:38:00 AM
量子位
阶跃公开了自家新型注意力机制：KV缓存消耗直降93.7%，性能不减反增
随着当前大语言模型的广泛应用和推理时扩展的新范式的崛起，如何实现高效的大规模推理成为了一个巨大挑战。 特别是在语言模型的推理阶段，传统注意力机制中的键值缓存（KV Cache）会随着批处理大小和序列长度线性增长，俨然成为制约大语言模型规模化应用和推理时扩展的「内存杀手」。 虽然业界已有 MQA、GQA、MLA 等多种注意力机制变体试图解决这一问题，但这些方案要么难以在严格的显存限制下保持理想性能，要么在模型结构上引入额外复杂度，带来巨大的工程挑战和生态兼容性问题。
1/17/2025 1:20:00 PM
机器之心
资讯热榜
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
机器人
数据
大模型
Midjourney
开源
智能
用户
Meta
微软
GPT
学习
技术
图像
Gemini
马斯克
AI创作
智能体
论文
英伟达
Anthropic
代码
算法
训练
Stable Diffusion
芯片
蛋白质
开发者
腾讯
LLM
生成式
苹果
Claude
Agent
AI新词
神经网络
3D
AI for Science
机器学习
研究
生成
xAI
人形机器人
AI视频
计算
Sora
GPU
AI设计
百度
华为
工具
大语言模型
搜索
具身智能
场景
RAG
字节跳动
大型语言模型
预测
深度学习
伟达
视觉
Transformer
视频生成
AGI
神器推荐
亚马逊
架构
Copilot
DeepMind
应用
安全