视觉
Gemini负责人爆料！多模态统一token表示，视觉至关重要
一水 闻乐 发自 凹非寺. 量子位 | 公众号 QbitAI一次性揭秘Gemini多模态技术！ 就在刚刚，Gemini模型行为产品负责人Ani Baddepudi在谷歌自家的开发者频道开启了爆料模式。
7/3/2025 3:06:44 PM
闻乐
大模型时代，通用视觉模型将何去何从？
过去几年，通用视觉模型（Vision Generalist Model，简称 VGM）曾是计算机视觉领域的研究热点。 它们试图构建统一的架构，能够处理图像、点云、视频等多种视觉模态输入，以及分类、检测、分割等多样的下游任务，向着「视觉模型大一统」的目标迈进。 然而，随着大语言模型 LLM 的迅猛发展，研究热点已经悄然发生转移。
7/2/2025 9:17:13 AM
视觉语言模型如何突破感知边界？上海 AI 新势力提出“世界意识”赋能真实环境规划
——如何让多模态智能体真正“看懂”世界并做出复杂决策“把切好的苹果片冰一下再丢进垃圾桶”——这样一条看似普通的自然语言指令，若让一台具身智能体（Embodied Agent）执行，其背后实则隐藏了多步规划、常识应用、环境理解、工具使用等一系列交互复杂度极高的子任务。 如何让 AI 理解任务的潜台词、合理分解步骤，并在真实视觉输入中找准对象并正确执行，正是当前具身智能与多模态学习面临的最大挑战之一。 具身智能与多模态规划的研究背景具身智能（Embodied Intelligence）可以被视为 AI 研究“从认知走向行为”的转折点。
7/1/2025 1:35:00 AM
FlerkenS
用好视觉Attention局部性，清华、字节提出Token Reorder，无损实现5倍稀疏、4比特量化
赵天辰，清华大学电子工程系高能效计算实验室研究生，研究方向主要是：面向视觉生成的高效算法，与软硬件协同设计近年来，随着视觉生成模型的发展，视觉生成任务的输入序列长度逐渐增长（高分辨率生成，视频多帧生成，可达到 10K-100K）。 与输入序列长度呈平方复杂度的 Attention 操作，成为主要的性能瓶颈（可占据全模型的 60-80% 的开销），有明显的效率优化需求。 注意力的稀疏化（Sparse Attention）与低比特量化（Attention Quantization）为常用的 Attention 优化技巧，在许多现有应用中取得优秀的效果。
6/30/2025 2:02:00 PM
CVPR 2025 | 零开销，消除图像幻觉！基于零空间投影挖掘正常样本特征
当前大型视觉语言模型（LVLMs）普遍存在「物体幻觉」问题：模型会凭空生成图像中不存在的物体描述。 为了高效地实现幻觉消除，西安交通大学研究团队提出了一种利用「幻觉子空间」（HalluSpace）进行零空间投影的高效模型权重编辑方法Nullu（Null space of HalluSpace）。 论文地址：：：从特征空间寻找到正常样本表征与幻觉样本特征的核心差异。
6/30/2025 8:15:00 AM
AI进化新里程碑！大模型首次具备人类空间思维能力！
研究人员近日公布了一项惊人的进展:一个新的 AI 大模型成功掌握了人类的空间思考能力。 这一突破源于蚂蚁技术研究院自然语言组与中科院自动化所和香港中文大学的合作，推出了名为 ViLaSR-7B 的模型，专注于空间推理任务。 这个模型通过一种名为 “边看边画” 的训练方法，能够在理解图像的同时进行空间推理，从而在迷宫导航、静态图像理解和视频分析等多个任务上平均提高了18.4% 的准确率。
6/23/2025 10:00:48 AM
AI在线
月之暗面开源 Kimi-2506：多模态智能体，视觉理解能力重大升级
近日，国内知名大模型平台 “月之暗面” 正式发布了其开源的多模态模型 Kimi-VL-A3B-Thinking 的最新版本 ——Kimi-2506。 这一版本的发布标志着智能体和视觉理解技术的重大进步。 Kimi-2506的开源地址为 [此处插入链接]，而在线演示可在 [此处插入链接] 进行体验。
6/23/2025 9:00:38 AM
AI在线
√N并行+84倍计算加速！英伟达港大全新图像注意力：空间结构都保留
Transformer 及其核心的注意力机制在自然语言处理和计算机视觉等领域带来了革命性进展，展现出强大的深度上下文建模和数据间复杂依赖关系捕捉能力。 然而，其在处理视觉数据时面临两大核心挑战：二次计算复杂度使其难以高效处理高分辨率图像等长上下文数据；忽略空间结构，将多维图像视为无结构的一维标记序列，破坏了图像固有的空间连贯性，而这种信息对于依赖空间关系的视觉任务至关重要。 为克服效率瓶颈，近期研究如线性注意力和状态空间模型（如 Mamba） 致力于将复杂度降低至线性。
6/18/2025 1:59:11 PM
首个统一的图像与视频AIGC可解释性检测框架，多榜单SOTA性能
想象一下：你正在浏览社交媒体，看到一张震撼的图片或一段令人震撼的视频。 它栩栩如生，细节丰富，让你不禁信以为真。 但它究竟是真实记录，还是由顶尖 AI 精心炮制的「杰作」？
6/16/2025 8:51:00 AM
英伟达港大联手革新视觉注意力机制！GSPN高分辨率生成加速超84倍
视觉注意力机制，又有新突破，来自香港大学和英伟达。 Transformer的自注意力在NLP和计算机视觉领域表现出色——它能捕捉远距离依赖，构建深度上下文。 然而，面对高分辨率图像时，传统自注意力有两个大难题：计算量巨大：O(N²) 的复杂度让处理长上下文变得非常耗时。
6/11/2025 9:06:00 AM
李飞飞自曝详细创业经历：五年前因眼睛受伤，坚定要做世界模型
因为眼睛受伤暂时失去立体视觉，李飞飞更加坚定了做世界模型的决心。 在a16z的最新播客节目中，“AI教母”李飞飞讲述了五年前因为一次角膜损伤暂时失去立体视觉的经历：尽管凭借多年经验能想象出三维世界，但一只眼睛看东西时，我开始害怕开车。 但作为一名科学家，她也把这次经历当成一次宝贵的“实验”机会。
6/10/2025 8:43:00 AM
2025年，Mamba“联姻”Transformer，打造史上最强视觉骨干网络！
一眼概览MambaVision 提出一种混合 Mamba-Transformer 视觉骨干网络，首次将状态空间模型（SSM）与自注意力机制融合，显著提升图像分类、检测和分割任务的准确率与效率，达到新一代性能-速度最优前沿。 核心问题虽然 Mamba 模型在语言任务中展现了优秀的长序列建模能力，但其自回归结构难以高效捕捉图像中的全局空间依赖，限制了在计算机视觉中的表现。 如何在保持高吞吐和低复杂度的前提下建模图像中的长程依赖，是本研究要解决的核心问题。
6/5/2025 2:15:00 AM
萍哥学AI
视觉感知驱动的多模态推理，阿里通义提出VRAG，定义下一代检索增强生成
在数字化时代，视觉信息在知识传递和决策支持中的重要性日益凸显。 然而，传统的检索增强型生成（RAG）方法在处理视觉丰富信息时面临着诸多挑战。 一方面，传统的基于文本的方法无法处理视觉相关数据；另一方面，现有的视觉 RAG 方法受限于定义的固定流程，难以有效激活模型的推理能力。
6/4/2025 8:42:00 AM
ETT：打破原生多模态学习视觉瓶颈，重塑视觉tokenizer优化范式
本文由北京智源研究院多模态大模型研究中心（团队负责人王鑫龙，团队代表作 EMU 系列、EVA 系列、Painter & SegGPT）、中科院自动化所和大连理工大学联合完成。 在多模态学习蓬勃发展的当下，视觉 tokenizer 作为连接视觉信息与下游任务的关键桥梁，其性能优劣直接决定了多模态模型的表现。 然而，传统的视觉 tokenization 方法存在一个致命缺陷：视觉 tokenizer 的优化与下游任务的训练是相互割裂的。
5/28/2025 9:17:00 AM
One RL to See Them All？一个强化学习统一视觉-语言任务！
强化学习 (RL) 显著提升了视觉-语言模型 (VLM) 的推理能力。 然而，RL 在推理任务之外的应用，尤其是在目标检测和目标定位等感知密集型任务中的应用，仍有待深入探索。 近日，国内初创公司 MiniMax 提出了 V-Triune，一个视觉三重统一强化学习系统，它能使 VLM 在单一的训练流程中同时学习视觉推理和感知任务。
5/28/2025 9:15:00 AM
ICML 2025 Spotlight | 多模态大模型暴露短板？EMMA基准深度揭秘多模态推理能力
「三个点电荷 Q、-2Q 和 3Q 等距放置，哪个向量最能描述作用在 Q 电荷上的净电力方向？ 」在解这道题时，我们可以通过绘制受力分析草图轻松解决。 但即使是先进的多模态大语言模型，如 GPT-4o，也可能在理解「同性相斥」的基本物理原则时，错误地判断斥力的方向（例如，错误地将 3Q 对 Q 的斥力方向判断为右下方而非正确的左上方）。
5/21/2025 8:47:00 AM
腾讯宣布混元图像2.0将于5月16日全新发布
今日， 腾讯混元大模型团队今日正式宣布，其新一代多模态图像生成工具——混元图像2.0将于5月16日上午11时通过全球直播发布。 这是继去年混元大模型升级后，腾讯在AI视觉领域的又一次重大突破，以“更智能、更开放、更中国”为核心理念，赋能创作者与企业用户迈向AI驱动的视觉生产新阶段。
5/15/2025 4:00:30 PM
AI在线
仅20B参数！字节推出Seed1.5-VL多模态模型，实现38项SOTA
在上海举办的火山引擎 FORCE LINK AI 创新巡展上，字节跳动正式发布了最新的视觉 - 语言多模态模型 ——Seed1.5-VL。 该模型凭借其出色的通用多模态理解和推理能力，成为此次活动的焦点，吸引了众多业界专家和开发者的关注。 Seed1.5-VL 的显著特点是其增强的多模态理解与推理能力。
5/14/2025 3:00:52 PM
AI在线
资讯热榜
腾讯混元推出业界首个美术级 3D 生成大模型 Hunyuan3D-PolyGen，建模效率提升超七成
OpenAI 重申今夏推出最强模型 GPT-5，具备完整多模态 AI 能力
ChatGPT 商业推荐被曝引用不可靠信息来源，专家提醒用户勿盲目信任
ChatGPT 又遇“奶奶漏洞”，网友成功让 GPT-4o 主动生成“Win7 密钥”
刷新复杂Agent推理记录！阿里通义开源网络智能体超越DeepSeek R1，Grok-3
ChatGPT 推出“一起学习”功能：不直接给答案，引导用户自主思考
OpenAI 筹划进军硬件市场，CEO 奥尔特曼曾称 AI 革命不一定需要新硬件
资讯/神器/素材全都有！2025年6月设计素材周刊第四波
标签云
人工智能
AI
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
数据
机器人
大模型
Midjourney
用户
智能
开源
微软
Meta
GPT
学习
图像
技术
Gemini
AI创作
马斯克
论文
Anthropic
代码
英伟达
算法
Stable Diffusion
智能体
芯片
训练
开发者
生成式
腾讯
蛋白质
苹果
AI新词
神经网络
3D
Claude
研究
生成
LLM
机器学习
计算
Sora
人形机器人
AI视频
AI设计
GPU
AI for Science
xAI
华为
百度
搜索
大语言模型
Agent
场景
字节跳动
预测
深度学习
伟达
大型语言模型
工具
Transformer
RAG
视觉
神器推荐
具身智能
Copilot
模态
亚马逊
AGI
LLaMA
文本
算力
驾驶