AI在线 AI在线

模型

3B超越DeepSeek,大模型终于理解时间了!Time-R1一统过去/未来/生成

时间,是我们日常生活中最基础的概念。 但对于大语言模型(LLM)来说,它们或许能写诗作画、通晓古今,但在真正理解和运用时间概念时,却常常显得力不从心。 这个技术短板来自于大模型的底层设计,无法避免:训练语料库是静态的,存在知识截断时间;在按非时间顺序的语料训练过程中,跨越不同时期的时间信息是同时处理的,不像人类逐步接收知识,阻碍了在事件与其对应时间之间建立可靠的逻辑映射。
6/9/2025 3:25:03 PM

Google AI Studio 政策变动:Gemini2.5Pro 模型免费访问遭“限流”

Google 正在逐步调整其 AI 模型使用政策。 自5月起,面向开发者的 AI 测试平台 Google AI Studio 已停止向免费用户提供 Gemini2.5Pro 系列模型的调用权限。 官方回应称,这是转向全新 基于 API 密钥的使用系统 的一部分,未来开发者将需自行提供 API 密钥接入模型服务。
6/9/2025 2:00:56 PM
AI在线

小红书开源首个大模型,11万亿非合成训练数据

国内著名社交平台小红书,开源了首个大模型——dots.llm1。 dots.llm1是一个1420亿参数的专家混合模型(MoE),在推理过程中仅激活140亿参数,能保持高性能的同时大幅度降低训练和推理成本。 dots.llm1最大特色是使用了11.2万亿token的非合成高质量训练数据,这在现阶段的开源大模型中非常罕见,看来小红书也得益于自己庞大的语料库出手就是阔啊。
6/9/2025 9:41:25 AM

大模型强化学习新突破——SPO新范式助力大模型推理能力提升!

当前,强化学习(RL)在提升大语言模型(LLM)推理能力方面展现出巨大潜力。 DeepSeek R1、Kimi K1.5 和 Qwen 3 等模型充分证明了 RL 在增强 LLM 复杂推理能力方面的有效性。 然而,要实现有效的强化学习,需要解决一个根本性的挑战,即信用分配问题(credit assignment):在大语言模型的场景下,如何将整个序列(LLM 的回复)最终的评估结果,归因到序列中具体的决策动作(token)上。
6/9/2025 9:32:35 AM

ICML 2025 | 全局池化+局部保留,CCA-Attention为LLM长文本建模带来突破性进展

琶洲实验室、华南理工大学联合推出关键上下文感知注意力机制(CCA-Attention),实现超长文本的高效上下文建模。 在 128K 超长序列上下文建模任务中,CCA-Attention 的推理速度是标准自注意力机制的 7.9 倍,同时键值缓存(KV Cache)显存占用减少 93%,性能全面优于现有高效注意力方法。 论文标题:Core Context Aware Transformers for Long Context Language Modeling论文链接:::2024年12月17日该成果已被 ICML 2025 接收,最早于 2024 年 12 月 17 日提交至 ArXiv,早于 DeepSeek NSA 和 Kimi MoBA 公开。
6/9/2025 9:23:05 AM

算力终结者来了!华人天团「降维打击」注意力瓶颈,AI狂飙进对数时代

LLM苦算力太久了! 为缓解长序列建模中的算力瓶颈,研究界持续探索高效替代方案。 这次Mamba作者Tri Dao、华人AI领域大牛Eric P.
6/9/2025 9:05:00 AM

为什么用错奖励,模型也能提分?新研究:模型学的不是新知识,是思维

本文主要作者是吕昂和谢若冰。 吕昂,中国人民大学博士生,研究方向为语言模型结构优化,导师为严睿教授;谢若冰,腾讯高级研究员,研究方向为大语言模型、推荐系统。 最近的一篇论文中,来自人大和腾讯的研究者们的研究表明,语言模型对强化学习中的奖励噪音具有鲁棒性,即使翻转相当一部分的奖励(例如,正确答案得 0 分,错误答案得 1 分),也不会显著影响下游任务的表现。
6/9/2025 9:04:00 AM

告别「失忆」AI!首个大模型记忆操作系统开源框架来了!

该项目来自百家 AI,是北京邮电大学白婷副教授所指导的研究小组, 团队致力于为硅基人类倾力打造情感饱满、记忆超凡的智慧大脑。 大语言模型受限于固定上下文窗口,长期对话中「失忆」、记忆断裂等问题频发,北邮百家 AI 团队重磅推出首个大模型记忆操作系统开源框架 MemoryOS。 巧妙融合计算机操作系统原理与人脑分层记忆机制,构建段页式三级存储架构及四大核心模块(存储、更新、检索、生成),提供全链路用户记忆管理方案,让 AI 智能体拥有持久「记性」与深度「个性」。
6/9/2025 8:56:00 AM

顶流AI,人设崩了!6小时被攻破,泄露高危品指南,惨遭网友举报

只要6小时,顶尖大模型Claude 4 Opus「安全防线」被攻破! AI安全研究机构FAR.AI联合创始人Adam Gleave透露,仅用6小时,研究人员Ian McKenzie就成功诱导Claude 4生成了长达15页的化学武器制作指南。 Ian McKenzie回应称:Claude 4传授的内容,比他预期的还要多。
6/9/2025 8:53:00 AM

谷歌Transformer过时了?清华姚班校友等三连击,爆改注意力!

谷歌又有新的注意力了! 他们提出的新架构参数减少40%,训练速度较RNN提升5-8倍,在某些任务上性能甚至Transformer好7.2%! 在大语言模型(LLMs)中,他们引入了新的注意力偏向策略,并重新构想了「遗忘」这一过程,用「保留」来取而代之。
6/9/2025 8:52:00 AM

打破跨模态干扰,快手东北大学联合提出统一多模态框架,横扫多模态检索基准

多模态检索是信息理解与获取的关键技术,但其中的跨模态干扰问题一直是一大难题。 可行的解决办法是构建一种统一的多模态表示方式,为此,来自快手与东北大学的研究人员推出了多模态统一嵌入框架——UNITE。 UNITE的核心目标,就是构建一个能同时处理文本、图像、视频及其融合模态输入的统一嵌入器。
6/9/2025 8:50:00 AM

RLHF已死,RLVR引爆AGI革命!Claude 4核心成员万字对谈

在Dwarkesh Patel主持的节目中,Anthropic的Sholto Douglas、Trenton Bricken等人,一起讨论了Claude 4是如何思考的。 三人私交甚好,聊了2小时20多分钟,主要集中在4个话题:1. 过去一年中人工智能研究的变化;2.
6/9/2025 8:48:00 AM

扩散语言模型扛把子LLaDA迎来新版本,数学、代码、对齐能力均提升

本文介绍的工作由中国人民大学高瓴人工智能学院李崇轩、文继荣教授团队与蚂蚁集团共同完成。 朱峰琪、王榕甄、聂燊是中国人民大学高瓴人工智能学院的博士生,导师为李崇轩副教授。 该研究基于团队前期发布的 8B 扩散语言模型 LLaDA(国内率先做到真正可用的扩散语言模型,是后续很多研究的主干基础模型),探索了扩散语言模型的偏好对齐方法,提出了方差缩减的偏好优化方法 VRPO,并利用 VRPO 对 LLaDA 进行了强化对齐,推出了 LLaDA 1.5。
6/9/2025 8:47:00 AM

生图效果媲美GPT-4o,一键搞定各类视觉生成任务丨港科广&字节全新框架

图像生成、视频创作、照片精修需要找不同的模型完成也太太太太太麻烦了。 有没有这样一个“AI创作大师”,你只需要用一句话描述脑海中的灵感,它就能自动为你搭建流程、选择工具、反复修改,最终交付高质量的视觉作品呢? 这一切,现在通过一个由港科大(广州)和字节联合出品的全新的开源框架——ComfyMind实现了。
6/9/2025 8:40:00 AM

八个数据集全面胜出!思维链推理刷新图学习表现上限

思维链提示学习来了! 由于图数据拥有复杂的非线性结构和缺少文本信息,语言模型中的思维链(Chain-of-Thought,CoT)提示学习方法难以简单直接地应用于图数据。 基于此,来自新加坡管理大学和中国科学技术大学的研究者们提出了GCoT——首个应用于无文本图数据的类思维链提示学习框架。
6/9/2025 8:37:00 AM

你永远叫不醒装睡的大模型!多轮对话全军覆没,性能暴跌39%

ChatGPT将大模型技术推动到「对话」场景,直接引发了AI技术的爆炸式增长。 用户可以先提出一个粗糙的、不明确的问题,再根据模型的回答逐步完善指令、补充细节,多轮对话也催生出「跟AI打电话」等有趣的应用设计。 不过,现有的大模型性能评估基准仍然是基于单轮对话机制,输入的指令也更长,信息更完善,其在真实场景中多轮对话的性能仍然没有得到很好地评估。
6/9/2025 8:30:00 AM

苹果炮轰推理模型全是假思考!4个游戏戳破神话,o3/DeepSeek高难度全崩溃

苹果最新大模型论文,在AI圈炸开了锅。 有人总结到:苹果刚刚当了一回马库斯,否定了所有大模型的推理能力。 这篇论文称推理模型全都没在真正思考,无论DeepSeek、o3-mini还是Claude 3.7都只是另一种形式的“模式匹配”,所谓思考只是一种假象。
6/8/2025 2:15:42 PM

字节跳动发布图像编辑模型SeedEdit 3.0 细节保持能力进一步提升

6月6日,字节跳动Seed团队正式发布了图像编辑模型SeedEdit3.0。 这一全新版本的图像编辑模型在图像主体保持、背景细节处理以及指令遵循等方面取得了显著进步,极大地提升了图像编辑的可用率和效率。 SeedEdit3.0是基于文生图模型Seedream3.0开发的,通过引入多样化的数据融合方法和特定奖励模型,解决了以往图像编辑模型在主体与背景保持、指令遵循等方面的不足。
6/6/2025 3:01:06 PM
AI在线