在视觉提示中加入「标志」,微软等让GPT-4V看的更准、分的更细

全新视觉提示方法 SoM(Set-of-Mark),让 OpenAI 多模态大模型 GPT-4V 在视觉内容理解方面有了质的提升。最近一段时间,我们见证了大型语言模型(LLM)的显著进步。特别是,生成式预训练 Transformer 或 GPT 的发布引领了业界和学术界的多项突破。自 GPT-4 发布以来,大型多模态模型 (LMM) 引起了研究界越来越多的兴趣,许多工作致力于构建多模态 GPT-4。 近日,GPT-4V (ision) 由于出色的多模态感知和推理能力得到了大家格外的关注。然而,尽管 GPT-4V 具

全新视觉提示方法 SoM(Set-of-Mark),让 OpenAI 多模态大模型 GPT-4V 在视觉内容理解方面有了质的提升。

最近一段时间,我们见证了大型语言模型(LLM)的显著进步。特别是,生成式预训练 Transformer 或 GPT 的发布引领了业界和学术界的多项突破。自 GPT-4 发布以来,大型多模态模型 (LMM) 引起了研究界越来越多的兴趣,许多工作致力于构建多模态 GPT-4。 

近日,GPT-4V (ision) 由于出色的多模态感知和推理能力得到了大家格外的关注。然而,尽管 GPT-4V 具有前所未有的视觉语言理解能力,但其细粒度 visual grounding(输出是图片和对应的物体描述,输出是描述物体的 box)能力相对较弱,或者尚未发挥出来。

举例来说,当用户询问下图中「放置在右边笔记本电脑的左边是什么物体?」GPT-4V 给出了马克杯这个错误的答案。当用户接着询问,「想找一个靠窗的座位,我可以坐在哪里?」GPT-4V 同样回答不正确。

在视觉提示中加入「标志」,微软等让GPT-4V看的更准、分的更细

在意识到上述问题后,来自微软、香港科技大学等机构的研究者提出了一种新的视觉 prompt 方法 Set-of-Mark(SoM),来解决 GPT-4V 在细粒度视觉义务上的问题。

在视觉提示中加入「标志」,微软等让GPT-4V看的更准、分的更细

论文地址:https://arxiv.org/pdf/2310.11441.pdf

论文主页:https://som-gpt4v.github.io/

如图 1(右)所示,SoM 采用交互式分隔模型(例如 SAM)将图象划分为不同粒度级别的地区,并在这些地区上添加一组标志(mark),例如字母数字、掩码(mask)、框(box)。运用添加标志的图象作为输出,以解决上述问题。

我们先来看下效果,左为 GPT-4V,右为 GPT-4V+SoM,很明显后者分类更细致、准确。

在视觉提示中加入「标志」,微软等让GPT-4V看的更准、分的更细

下图示例依然如此,GPT-4V+SoM 效果更明显。

在视觉提示中加入「标志」,微软等让GPT-4V看的更准、分的更细

此外,对于这项研究,有人问道:「SoM 是手动(人工输出)还是自动的?」

在视觉提示中加入「标志」,微软等让GPT-4V看的更准、分的更细

论文一作 Jianwei Yang 表示,SoM 是自动或半自动的。他们编译了很多自己构建自己的分隔工具,比如 SEEM、Semantic-SAM 和 SAM,用来帮助用户自动为图象分隔地区。同时用户也可以自己采用地区。

在视觉提示中加入「标志」,微软等让GPT-4V看的更准、分的更细

用于视觉的 SoM prompt

运用 SoM prompt GPT-4V 的独特优点是它可以产生文本之外的输出。由于每一个标志都与掩码表征的图象地区特定联系关系,因此可以追溯文本输出中任何提到的标志的掩码。

在视觉提示中加入「标志」,微软等让GPT-4V看的更准、分的更细

生成成对文本和掩码的能力使 SoM 能够 prompt GPT-4V 来生成视觉联系关系的文本,更重要的是支持各种细粒度视觉义务,这对普通的 GPT-4V 模型来说是一个挑战。

通过简单的 prompt 工程,SoM 可以让 GPT-4V 广泛地用于多种视觉义务,例如:

开放词汇图象分隔:该研究要求 GPT-4V 详尽地给出所有标志地区的类别以及从预定池中采用的类别。

参照分隔:给定一个参照表达式,GPT-4V 的义务是从图象分区工具箱生成的候选地区中采用最匹配的地区。

短语联系关系(Phrase Grounding):与参照分隔略有不同,短语联系关系运用由多个名词短语组成的完整句子。该研究要求 GPT-4V 为所有标志的短语分配相应的地区。

视频对象分隔:以两个图象作为输出。第一个图象是查询图象,其中包含第二个图象中需要识别的一些对象。鉴于 GPT-4V 支持多个图象作为输出,因此 SoM 也可以应用于视频中跨帧的联系关系视觉对象。

实验及结果

研究者运用「分而治之」(divide-and-conquer)的策略来运行实验和评价。对于每一个实例,他们运用新的聊天窗口,这样一来,评价期间就不会出现上下文泄露了。

具体来讲,研究者从每一个数据集中采用了小规模的验证数据子集。对于数据集中的每一个图象,他们在运用图象分隔工具箱提取的地区上覆盖了一组标志。同时基于具体的义务,研究者利用不同的分隔工具来提出地区。

下表 1 列出了每一个义务的设置细节。

在视觉提示中加入「标志」,微软等让GPT-4V看的更准、分的更细

研究者将其方法与以下模型进行比较:

预测坐标的 GPT-4V 基线模型

SOTA 专用模型

开源 LMM

定量结果

详细的实验结果如下表 2 所示。

在视觉提示中加入「标志」,微软等让GPT-4V看的更准、分的更细

首先是图象分隔义务。研究者将 GPT-4V + SoM 与 COCO Panoptic 分隔数据集上的强大分隔模型 MaskDINO、ADE20K Panoptic 分隔数据集上的模型 OpenSeeD 进行了比较。

结果显示,GPT-4V + SoM 的零样本机能接近微调后的 MaskDINO,并大幅优于 OpenSeeD。GPT-4V 在 COCO 和 ADE20K 上的相似机能表现出其对广泛视觉和语义域义务的强大泛化能力。

然后是参照(referrring)义务,研究者评价了 RefCOCOg 数据集上的模型 RES 和 REC。他们运用 MaskDINO 来提出掩码,并在图象上覆盖上掩码和数字。同时运用 mIoU 作为评价指标,并与 SOTA 专用模型 PolyFormer 和 SEEM 进行比较。

结果显示,GPT-4V+SoM 击败了 Grounding DINO、Polyformer 等专用模型以及 Shikra、LLaVA-1.5、MiniGPT-v2 和 Ferret 等最近的开源 LMM。

接着是 Flickr30K 上的短语联系关系义务,研究者运用 Grounding DINO 为每一个图象生成框建议。GPT-4V+SoM 实现了比 GLIPv2 和 Grounding DINO 更强的零样本机能。

最后研究者在 DAVIS2017 数据集上评价了视频分隔义务。GPT-4V+SoM 实现了优于其他专用视觉模型的最佳追踪机能(78.8 J&F)。

消融研究

研究者探讨了标志类型如何影响 Flickr30k 数据集上短语联系关系义务的最终机能,并比较了两种类型的标志。第一种是数字和掩码,第二种是数字、掩码和框。

结果如下表 3 所示,添加额外的框可以显著提升机能。

在视觉提示中加入「标志」,微软等让GPT-4V看的更准、分的更细

此外研究者探究了当生成带有真值注释的标志时,GPT-4V 如何表现。他们采用在 RefCOCOg 验证集中用真值掩码替换预测到的分隔掩码。这意味着 GPT-4V 只需要从注释短语地区采用一个即可。如预期一样,参照分隔的机能可以得到进一步提升,尤其是当分隔模型有一些缺失的地区。

结果如下表 4 所示,在 SoM 中运用真值掩码可以将 RefCOCOg 上的机能提升 14.5%(mIoU)。

在视觉提示中加入「标志」,微软等让GPT-4V看的更准、分的更细

更多技术细节和实验结果参阅原论文。

给TA打赏
共{{data.count}}人
人已打赏
工程

220亿晶体管,IBM机器学习专用处理器NorthPole,能效25倍提升

2023-10-23 14:52:00

工程

你的GPU能跑Llama 2等大模型吗?用这个开源项目上手测一测

2023-10-23 16:06:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索