AI在线 AI在线

视觉

ICML 2025 Spotlight | 多模态大模型暴露短板?EMMA基准深度揭秘多模态推理能力

「三个点电荷 Q、-2Q 和 3Q 等距放置,哪个向量最能描述作用在 Q 电荷上的净电力方向? 」在解这道题时,我们可以通过绘制受力分析草图轻松解决。 但即使是先进的多模态大语言模型,如 GPT-4o,也可能在理解「同性相斥」的基本物理原则时,错误地判断斥力的方向(例如,错误地将 3Q 对 Q 的斥力方向判断为右下方而非正确的左上方)。
5/21/2025 8:47:00 AM

腾讯宣布混元图像2.0将于5月16日全新发布

今日, 腾讯混元大模型团队今日正式宣布,其新一代多模态图像生成工具——混元图像2.0将于5月16日上午11时通过全球直播发布。 这是继去年混元大模型升级后,腾讯在AI视觉领域的又一次重大突破,以“更智能、更开放、更中国”为核心理念,赋能创作者与企业用户迈向AI驱动的视觉生产新阶段。
5/15/2025 4:00:30 PM
AI在线

​仅20B参数!字节推出Seed1.5-VL多模态模型,实现38项SOTA

在上海举办的火山引擎 FORCE LINK AI 创新巡展上,字节跳动正式发布了最新的视觉 - 语言多模态模型 ——Seed1.5-VL。 该模型凭借其出色的通用多模态理解和推理能力,成为此次活动的焦点,吸引了众多业界专家和开发者的关注。 Seed1.5-VL 的显著特点是其增强的多模态理解与推理能力。
5/14/2025 3:00:52 PM
AI在线

腾讯混元携手科研机构推出首个多模态统一CoT奖励模型并开源

近日,腾讯混元在与上海 AI Lab、复旦大学及上海创智学院的合作下,正式推出了全新研究成果 —— 统一多模态奖励模型(Unified Reward-Think),并宣布全面开源。 这一创新模型不仅具备了强大的长链推理能力,还首次实现了在视觉任务中 “思考” 的能力,使得奖励模型能够更准确地评估复杂的视觉生成与理解任务。 统一多模态奖励模型的推出,标志着奖励模型在各类视觉任务中的应用达到了新的高度。
5/14/2025 10:01:03 AM
AI在线

新一代开源视觉编码器 OpenVision 发布:超越 CLIP 与 SigLIP 的强大选择

加州大学圣克鲁兹分校近日宣布推出 OpenVision,这是一个全新的视觉编码器系列,旨在为 OpenAI 的 CLIP 和谷歌的 SigLIP 等模型提供替代方案。 OpenVision 的发布为开发者和企业带来了更多灵活性和选择,使得图像处理和理解变得更加高效。 什么是视觉编码器?视觉编码器是一种人工智能模型,它将视觉材料(通常是上传的静态图像)转化为可被其他非视觉模型(如大型语言模型)理解的数值数据。
5/13/2025 11:00:52 AM
AI在线

Pinterest 凭借 AI 驱动个性化推荐实现 16% 收入增长

在刚刚过去的第一季度,Pinterest 发布了强劲的财报,收入达到了8.55亿美元,同比增长了16%。 与此同时,活跃用户数也稳步增长,达到5.7亿,较去年同期增加了10%。 Pinterest 首席执行官比尔・瑞迪在电话会议上表示,这一增长的主要原因在于公司对人工智能(AI)的持续投资,尤其是在吸引 Z 世代用户方面取得了显著成效。
5/9/2025 11:04:21 AM
AI在线

字体控狂喜!Liblib AI 黑科技 RepText:无需理解文字,AI就能 1:1 复刻多国语言视觉效果

Liblib AI提出了 RepText,可以使预训练的单语文本转图像生成模型能够以用户指定的字体准确渲染,或者更准确地说,复制多语种视觉文本,而无需真正理解这些字体。 这样不管是中文、日文、韩文还是其他语言都可以精准的生成! 从某种意义上说也算是打破了AI图文生成语言的壁垒!
5/9/2025 9:12:00 AM

字节跳动携手港大与华中科技大学推出UniTok,革新视觉分词技术

近日,字节跳动联合香港大学和华中科技大学共同推出了全新的视觉分词器 UniTok。 这款工具不仅能在视觉生成和理解任务中发挥作用,还在技术上进行了重要创新,解决了传统分词器在细节捕捉与语义理解之间的矛盾。 UniTok 采用了多码本量化技术,能够将图像特征分割成多个小块,并用独立的子码本进行量化。
5/7/2025 6:00:54 PM
AI在线

Gemini 2.5 Pro登顶三冠王!AI最强编程屠榜,全面碾压Claude 3.7

AI编程王座,一夜易主。 昨晚,谷歌放出全新升级的Gemini 2.5 Pro Preview(I/O版),一举拿下三连冠,登顶LMeana。 Image图片它成为首个横扫文本、视觉、WebDev Arena基准的SOTA模型,编码性能碾压Claude 3.7 Sonnet。
5/7/2025 1:57:05 PM
新智元

用多模态LLM超越YOLOv3!强化学习突破多模态感知极限|开源

超越YOLOv3、Faster-RCNN,首个在COCO2017 val set上突破30AP的纯多模态开源LLM来啦! 华中科技大学、北京邮电大学等多所高校研究团队共同推出的Perception-R1(PR1),在视觉推理中最基础的感知层面,探究rule-based RL能给模型感知pattern带来的增益。 PR1重点关注当下主流的纯视觉(计数,通用目标检测)以及视觉语言(grounding,OCR)任务,实验结果展现出在模型感知策略上的巨大潜力。
5/6/2025 8:40:00 AM
量子位

AAAI2025 | ICLR 2025爆款!CHiP创新引入视觉偏好,幻觉率腰斩

一眼概览CHiP 提出了一种跨模态分层偏好优化方法,通过视觉与文本偏好双重引导,显著提升多模态大模型(MLLMs)在幻觉检测任务中的表现,最高减少55.5%的幻觉率。 核心问题多模态大模型(如GPT-4V、LLaVA)虽具强大能力,但常产生“幻觉”——即图文语义不一致、生成不符合图像内容的描述。 现有DPO方法仅基于文本偏好,难以有效对齐图像和文本的表示,也无法细粒度定位幻觉段落,限制了模型可信度与实用性。
4/28/2025 12:28:27 PM
萍哥学AI

OpenAI没说的秘密,Meta全揭了?华人一作GPT-4o同款技术,爆打扩散王者

GPT-4o生成的第一视角机器人打字图这次,来自Meta等机构的研究者,发现在多模态大语言模型(MLLMs)中,视觉词表存在维度冗余:视觉编码器输出的低维视觉特征,被直接映射到高维语言词表空间。 研究者提出了一种简单而新颖的Transformer图像token压缩方法:Token-Shuffle。 他们设计了两项关键操作:token混洗(token-shuffle):沿通道维度合并空间局部token,用来减少输入token数;token解混(token-unshuffle):在Transformer块后解构推断token,用来恢复输出空间结构。
4/28/2025 9:10:00 AM
新智元

AI图像分割新王者:BiRefNet如何重新定义视觉精度边界?

一、当“抠图”变成毫米级手术:BiRefNet的技术突破你是否想过,为什么电商商品图能精准抠出发丝? 为什么自动驾驶车辆能瞬间识别行人轮廓? 答案可能藏在一种名为BiRefNet的AI模型中。
4/28/2025 3:22:45 AM
智Echo

CVPR2025 | 即插即用!清华国科大等推出视觉微调框架,仅需调整5%骨干网络参数

仅调整5%的骨干网络参数,就能超越全参数微调效果? 还是在实例分割、目标检测、旋转目标检测这样的经典视觉任务场景。 这是来自清华、国科大、上海交大、阿里巴巴的一项研究,相关论文已被CVPR2025接受。
4/26/2025 4:44:45 PM

UniToken:多模态AI的“全能选手”,一次编码搞定图文理解与图像生成!

首次在统一框架内实现理解与生成的“双优表现”,打破了多模态统一建模的僵局! 复旦大学和美团的研究者们提出了UniToken——一种创新的统一视觉编码方案,在一个框架内兼顾了图文理解与图像生成任务,并在多个权威评测中取得了领先的性能表现。 UniToken通过融合连续和离散视觉表征,有效缓解了以往方法中“任务干扰”和“表示割裂”的问题,为多模态统一建模提供了新的范式。
4/25/2025 9:10:00 AM

o3被曝「无视」前成果?华人博士生实名指控,谢赛宁等大牛激烈争辩

在视觉感知方面,o3和o4-mini在思维链中进行图像推理, 代表了一个重要突破。 华盛顿大学计算机科学博士生施惟佳站出来表示,o3和o4-mini可能用到了她之前的研究Visual Sketchpad 。 论文链接:,曾提出通过可视化辅助增强模型推理。
4/21/2025 4:32:29 PM
新智元

纯自回归图像生成模型开源来了,复旦联手字节seed共同捍卫自回归

基于Transformer的自回归架构在语言建模上取得了显著成功,但在图像生成领域,扩散模型凭借强大的生成质量和可控性占据了主导地位。 虽然一些早期工作如Parti、LlamaGen,尝试用更强的视觉tokenizer和Transformer架构来提升自回归生成的效果,但他们论文中的结果表明,只有更多的参数量才能让自回归模型勉强和扩散模型“掰掰手腕”。 这也让越来越多的研究者质疑自回归视觉生成是否是一条可行、值得探索的路径。
4/21/2025 8:20:00 AM
量子位

视觉自回归生成理解编辑大一统!北大团队多模态新突破,训练数据代码全面开源

最近Google的Gemini Flash和OpenAI的GPT-4o等先进模型又一次推动了AI浪潮。 这些模型通过整合文本、图像、音频等多种数据形式,实现了更为自然和高效的生成和交互。 北京大学团队继VARGPT实现视觉理解与生成任务统一之后,再度推出了VARGPT-v1.1版本。
4/16/2025 2:55:00 AM