AI在线 AI在线

模型

告别“图文不符”！FG-CLIP实现细粒度跨模态对齐，360开源模型重塑AI视觉理解

告别“图文不符”！FG-CLIP实现细粒度跨模态对齐，360开源模型重塑AI视觉理解
CLIP的“近视”问题，被360搞定了。 360人工智能研究院最新图文跨模态模型FG-CLIP，宣布以“长文本深度理解”和“细粒度视觉比对”双突破，彻底解决了传统CLIP模型的“视觉近视”问题，能够精准识别局部细节。 具体怎么个说法？
4/29/2025 9:21:00 AM
颠覆传统RAG，创新大模型检索增强—Insight-RAG

颠覆传统RAG，创新大模型检索增强—Insight-RAG
RAG已经成为大模型的标题，但传统方法存在检索深度不足、难以整合多源信息等弊端，例如，传统 RAG 依赖表面相关性检索文档，容易忽略单个文档内深埋的信息。 在法律协议中，会忽略微妙的合同条款；在商业报告里，错过隐藏的数据趋势。 所以，Megagon实验室的研究人员提出了一种创新框架Insight-RAG，从而更好地捕捉任务特定的细微信息，整合的数据质量也更高。
4/29/2025 9:15:49 AM
AIGC开放社区
模型压缩到70%，还能保持100%准确率，无损压缩框架DFloat11来了

模型压缩到70%，还能保持100%准确率，无损压缩框架DFloat11来了
大型语言模型（LLMs）在广泛的自然语言处理（NLP）任务中展现出了卓越的能力。 然而，它们迅速增长的规模给高效部署和推理带来了巨大障碍，特别是在计算或内存资源有限的环境中。 例如，Llama-3.1-405B 在 BFloat16（16-bit Brain Float）格式下拥有 4050 亿个参数，需要大约 810GB 的内存进行完整推理，超过了典型高端 GPU 服务器（例如，DGX A100/H100，配备 8 个 80GB GPU）的能力。
4/29/2025 9:14:00 AM
机器之心
上交大等探索键值压缩的边界：MILLION开源框架定义模型量化推理新范式，入选顶会DAC 2025

上交大等探索键值压缩的边界：MILLION开源框架定义模型量化推理新范式，入选顶会DAC 2025
本篇工作已被电子设计自动化领域顶级会议 DAC 2025 接收，由上海交大计算机学院蒋力教授与刘方鑫助理教授带领的 IMPACT 课题组完成，同时也获得了华为 2012 实验室和上海期智研究院的支持。 第一作者是博士生汪宗武与硕士生许鹏。 在通用人工智能的黎明时刻，大语言模型被越来越多地应用到复杂任务中，虽然展现出了巨大的潜力和价值，但对计算和存储资源也提出了前所未有的挑战。
4/29/2025 9:13:00 AM
机器之心
字节Seed团队PHD-Transformer突破预训练长度扩展！破解KV缓存膨胀难题

字节Seed团队PHD-Transformer突破预训练长度扩展！破解KV缓存膨胀难题
最近，DeepSeek-R1 和 OpenAI o1/03 等推理大模型在后训练阶段探索了长度扩展（length scaling），通过强化学习（比如 PPO、GPRO）训练模型生成很长的推理链（CoT），并在奥数等高难度推理任务上取得了显著的效果提升。 受此启发，研究人员开始探索预训练阶段的长度扩展，已有方法包括在序列中插入文本、插入潜在向量（如 Coconut）、复用中间层隐藏状态（如 CoTFormer）以及将中间隐藏状态映射为概念（如 COCOMix）。 不过，这些方法普遍存在问题，比如需要更大的 KV 缓存导致推理慢 / 占内存多。
4/29/2025 9:10:00 AM
机器之心
北大物院200人合作，金牌得主超50人！PHYBench：大模型究竟能不能真的懂物理？

北大物院200人合作，金牌得主超50人！PHYBench：大模型究竟能不能真的懂物理？
本项目由北京大学物理学院朱华星老师、曹庆宏副院长统筹指导。 基准设计、项目管理以及数据整合的主要工作由学生核心团队完成，核心成员包括仇是、郭绍阳、宋卓洋、孙韫博、蔡则宇、卫家燊、罗天宇等。 项目还得到了北京计算科学研究中心罗民兴院士和人工智能研究院张牧涵老师的鼎力支持。
4/29/2025 9:08:00 AM
机器之心
猛击OpenAI o1、DeepSeek-R1！刚刚，阿里Qwen3登顶全球开源模型王座，深夜爆火

猛击OpenAI o1、DeepSeek-R1！刚刚，阿里Qwen3登顶全球开源模型王座，深夜爆火
今天凌晨，从昨晚开始预热、备受全球 AI 圈关注的 Qwen3 系列模型终于正式亮相了！ Qwen3 模型依旧采用宽松的 Apache2.0 协议开源，全球开发者、研究机构和企业均可免费在 HuggingFace、魔搭社区等平台下载模型并商用，也可以通过阿里云百炼调用 Qwen3 的 API 服务。 HuggingFace 地址： 地址： 地址：：：，Qwen3 系列模型包含两款 MoE 模型以及六款密集模型，其中每一款又包含更多细分版本（比如基础版和量化版）：MoE 模型：Qwen3-235B-A22B 和 Qwen3-30B-A3B；其中 235B 和 30B 分别是总参数量，22B 和 3B 分别是激活参数量。
4/29/2025 9:06:00 AM
机器之心
ICLR 2025 Oral｜差分注意力机制引领变革，DIFF Transformer攻克长序列建模难题

ICLR 2025 Oral｜差分注意力机制引领变革，DIFF Transformer攻克长序列建模难题
近年来，Transformer 架构在自然语言处理领域取得了巨大成功，从机器翻译到文本生成，其强大的建模能力为语言理解与生成带来了前所未有的突破。 然而，随着模型规模的不断扩大和应用场景的日益复杂，传统 Transformer 架构逐渐暴露出缺陷，尤其是在处理长文本、关键信息检索以及对抗幻觉等任务时，Transformer 常常因过度关注无关上下文而陷入困境，导致模型表现受限。 为攻克这一难题，来自微软和清华的研究团队提出了 DIFF Transformer，一种基于差分注意力机制的创新基础模型架构。
4/29/2025 9:05:00 AM
机器之心
不用等R2了！第三方给新版DeepSeek V3添加深度思考，推理101秒破解7米甘蔗过2米门

不用等R2了！第三方给新版DeepSeek V3添加深度思考，推理101秒破解7米甘蔗过2米门
DeepSeek即将发布R2？ ？ 坊间传闻越来越多了，且难辨真假。
4/29/2025 9:03:00 AM
量子位
阿里发布开源Qwen3，成本大幅降低仅需DeepSeek-R1的三分之一

阿里发布开源Qwen3，成本大幅降低仅需DeepSeek-R1的三分之一
阿里巴巴正式推出新一代通义千问模型 Qwen3（千问3），并宣布其开源。 阿里云表示，千问3是国内首个 “混合推理模型”，同时集成了 “快思考” 与 “慢思考” 的能力。 相比于 DeepSeek-R1，千问3的参数量仅为其三分之一，而部署成本大幅降低，使用仅需四张 H20显卡即可实现满血版的部署。
4/29/2025 9:00:40 AM
AI在线
RAG性能暴增20%！清华等推出“以笔记为中心”的深度检索增强生成框架，复杂问答效果飙升

RAG性能暴增20%！清华等推出“以笔记为中心”的深度检索增强生成框架，复杂问答效果飙升
在当前大语言模型（LLMs）广泛应用于问答、对话等任务的背景下，如何更有效地结合外部知识、提升模型对复杂问题的理解与解答能力，成为 RAG（Retrieval-Augmented Generation）方向的核心挑战。 来自清华大学、中国科学院大学、华南理工大学、东北大学、九星（AI9Stars）的联合研究团队提出了一项全新的适应式RAG方法——DeepNote。 它首次引入“笔记（Note）”作为知识载体，实现更深入、更稳定的知识探索与整合，在所有任务上均优于主流RAG方法，相较于基础RAG性能提升高达 20.1%。
4/29/2025 8:54:53 AM
100年企业知识超10万文件，「内网版ChatGPT」血洗最卷行业！全员70%和AI共事

100年企业知识超10万文件，「内网版ChatGPT」血洗最卷行业！全员70%和AI共事
要说什么行业是地球上「最卷」的，咨询行业说第一，恐怕没有哪个行业敢称第二。 在这个全球最精英、最高压的竞技场里，卷时间、卷精力、卷智力，现在要卷AI了！ ChatGPT已经无法满足世界上最「卷」的这批人了。
4/29/2025 8:40:00 AM
新智元
LLMs 防御升级：借函数调用机制打造无缝防御层

LLMs 防御升级：借函数调用机制打造无缝防御层
大语言模型（LLMs）展现出了令人惊叹的能力，其中函数调用功能更是让其如虎添翼。 然而，这一强大功能也伴随着风险，恶意用户可能利用巧妙设计的提示进行隐秘操纵。 本文将深入探讨如何将函数调用机制转化为一道无缝的防御层，有效检测和防范这些潜在威胁。
4/29/2025 8:18:48 AM
大模型之路
Qwen3正式确认本周发布，阿里云AI新篇章即将开启

Qwen3正式确认本周发布，阿里云AI新篇章即将开启
阿里云Qwen团队通过社交平台正式确认，Qwen3系列模型将于本周内发布，标志着其旗舰大语言模型（LLM）与多模态能力的又一次重大升级。 据AIbase了解，Qwen3将推出包括0.6B、4B、8B、30B-A3B在内的多种模型规模，支持高达256K的上下文长度，涵盖推理与非推理任务。 社交平台上的热烈讨论凸显了其全球影响力，相关细节已通过Hugging Face与Qwen官网逐步公开。
4/28/2025 6:00:40 PM
AI在线
Gemini-2.0夺冠！全球首个几何推理专项评测出炉，淘天集团出品

Gemini-2.0夺冠！全球首个几何推理专项评测出炉，淘天集团出品
多模态大模型几何解题哪家强？ 首个从几何原理视角出发，全面评估多模态大模型几何解题能力的双语综合基准来了！ GeoSense，系统评测多模态大模型在几何原理识别和应用中的表现，评测基准的数据和评测代码均已开源。
4/28/2025 2:04:03 PM
量子位
AR智能革命！Satori系统读懂人类意图，科幻电影场景成现实

AR智能革命！Satori系统读懂人类意图，科幻电影场景成现实
团队由 IEEE 会士，纽约大学教授 Claudio Silva 和纽约大学研究助理教授钱靖共同指导。  论文由Chenyi Li和Guande Wu共同第一作者。 在无数科幻电影中，增强现实（AR）通过在人们的眼前叠加动画、文字、图形等可视化信息，让人获得适时的、超越自身感知能力的信息。
4/28/2025 9:42:00 AM
机器之心
1亿图文对！格灵深瞳开源RealSyn数据集，CLIP多任务性能刷新SOTA

1亿图文对！格灵深瞳开源RealSyn数据集，CLIP多任务性能刷新SOTA
新的亿级大规模图文对数据集来了，CLIP达成新SOTA！ 格灵深瞳最新发布的高质量数据集RealSyn，不仅规模大——包含1亿组图文对，而且每张图片都同时关联多个真实和合成文本。 所有的图像和句子都基于冗余进行了严格过滤，在确保数据质量的同时，引入基于簇的语义平衡采样策略，构建了可满足多样工作需求的三种规模大小的数据集：15M、30M、100M。
4/28/2025 9:14:00 AM
量子位
OpenAI没说的秘密，Meta全揭了？华人一作GPT-4o同款技术，爆打扩散王者

OpenAI没说的秘密，Meta全揭了？华人一作GPT-4o同款技术，爆打扩散王者
GPT-4o生成的第一视角机器人打字图这次，来自Meta等机构的研究者，发现在多模态大语言模型（MLLMs）中，视觉词表存在维度冗余：视觉编码器输出的低维视觉特征，被直接映射到高维语言词表空间。 研究者提出了一种简单而新颖的Transformer图像token压缩方法：Token-Shuffle。 他们设计了两项关键操作：token混洗（token-shuffle）：沿通道维度合并空间局部token，用来减少输入token数；token解混（token-unshuffle）：在Transformer块后解构推断token，用来恢复输出空间结构。
4/28/2025 9:10:00 AM
新智元