NLP大火的prompt能用到其他领域吗？清华孙茂松组的 CPT 了解一下

图源：https://www.zhihu.com/question/487096135/answer/2143082483?utm

论文链接：https://arxiv.org/pdf/2109.11797.pdf在细粒度图象地区，定位自然语言对于各种视觉语言使命至关重要，如机器人导航、视觉问答、视觉对话、视觉常识推理等。最近，预训练视觉语言模型（VL-PTM）在视觉定位使命上表现出了巨大的潜力。通常来讲，一般的跨模态表示首先以自监视的方式在大规模 image-caption 数据上从事预训练，然后从事微调以适应下游使命。VL-PTM 这种先预训练再微调的范式使得很多跨模态使命的 SOTA 被不断刷新。但尽管如此，清华大学、新加坡国立大学的研究者还是注意到，VL-PTM 的预训练与微调的 objective form 之间存在显著差异。如下图 1 所示，在预训练期间，多数 VL-PTM 都是鉴于掩码语言建模指标从事优化，试图从跨模态上下文恢复 masked token。然而，在微调期间，下游使命通常通过将 unmasked token 表示归为语义标签来执行，这里通常会引入针对特定使命的参数。这种差异降低了 VL-PTM 对下游使命的适应能力。因此，激发 VL-PTM 在下游使命中的视觉定位能力需要大量标识表记标帜数据。

在这篇论文中，受到自然语言处理领域的预训练语言模型进展启发，研究者提出了一种调整 VL-PTM 的新范式——CPT（ Cross-modal Prompt Tuning 或 Colorful Prompt Tuning）。其中的核心要点是：通过在图象和文字中添加鉴于色彩的共指标识表记标帜（co-referential marker），视觉定位可以被重新表述成一个填空题，从而尽可能缩小预训练和微调之间的差异。如图 1 所示，为了在图象数据中定位自然语言表达，CPT 由两部分构成：一是用色块对图象地区从事唯一标识表记标帜的视觉 sub-prompt；二是将盘问文本放入鉴于色彩的盘问模板的一个文本 sub-prompt。针对指标图象地区的显式定位可以通过从盘问模板中的 masked token 中恢复对应色彩文本来实现。通过缩小预训练和微调之间的差距，本文提出的 prompt tuning 方法使得 VL-PTM 具备了强大的 few-shot 甚至 zero-shot 视觉定位能力。实行结果表明，prompted VL-PTMs 显著超越了它们的 fine-tuned 竞争对手。本文的贡献主要体现在两个方面：1. 提出了一种用于 VL-PTM 的跨模态 prompt tuning 新范式。研究者表示，据他们所知，这是 VL-PTM 跨模态 prompt tuning+ zero-shot、few-shot 视觉定位的首次尝试；2. 从事了全面的实行，证明了所提方法的有效性。CPT 框架细节视觉定位的关键是建立图象地区和文本表达之间的联系。因此，一个优秀的跨模态 prompt tuning 框架应该充分利用图象和文本的共指标识表记标帜，并尽可能缩小预训练和微调之间的差距。为此，CPT 将视觉定位重新构建为一个填空问题。具体来说，CPT 框架由两部分构成：一是用色块对图象地区从事唯一标识表记标帜的视觉 sub-prompt；二是将盘问文本放入鉴于色彩的盘问模板的一个文本 sub-prompt。有了 CPT，VL-PTM 可以直接通过用指标图象地区的彩色文本填充 masked token 来定位盘问文本，指标图象地区的 objective form 与预训练相同。视觉 sub-prompt给定一个图象 I 以及它的地区候选 R = {v_1, v_2, . . . , v_n}，视觉 sub-prompt 旨在用自然视觉标识表记标帜对图象地区从事独特标识表记标帜。有趣的是，研究者注意到，在文献中，彩色边界框被广泛用于对图象中的对象从事独特标识表记标帜，以实现可视化。受此启发，研究者通过一组色彩 C 来关联图象地区和文本表达，其中每种色彩是由它的视觉外观（如 RGB (255, 0, 0)）和色彩文本（如：red）来定义的。然后他们用一种独特的色彩标识表记标帜图象中的每个地区候选 v_i，以此来定位，这会产生一组彩色图象候选Ψ(R; C)，其中 Ψ(·) 表示视觉 sub-prompt。在实行中，研究者发现，用实心块给指标着色比用边界框效果更好，因为纯色指标在现实世界的图象中更为常见（如红色 T 恤、蓝色车）。由于视觉 sub-prompt 被添加到原始图象中，因此 VL-PTM 的架构或参数不会发生变化。文本 sub-prompt文本 sub-prompt 旨在提示 VL-PTM 建立盘问文本与被视觉 sub-prompt 标识表记标帜的图象地区的联系。具体来说，此处用一个如下所示的模板 T (·) 将盘问文本 q（如「the horse watched by the woman」）转换为填空盘问：

如此一来，VL-PTM 会被提示决定哪个地区的色彩更适合填充掩码（如红色或黄色），如下所示:

其中，v^* 表示指标地区，是在预训练 MLM head 中的嵌入。需要注意的是，这个过程并没有引入任何新的参数，而且还缩小了预训练和微调之间的差距，因此提高了 VL-PTM 微调的数据效率。实行结果在实行部分，研究者对 CPT 的能力从事了评估，设置了 zero-shot、few-shot 和全监视等多种情况，主要结果如下表 1 所示：

从表中可以看出：1. 在 zero-shot 和 few-shot 设置中，CPT 的性能大大优于随机基线和强微调基线。例如，使用色块作为视觉 sub-prompt，在 RefCOCO one shot 中，CPT 绝对准确率提高了 17.3%，相对标准差平均降低了 73.8%。这表明 CPT 可以有效地提高 VL-PTM 微调的数据效率，并激发 VL-PTM 的视觉定位潜力。2. 在视觉 sub-prompts 中用分割掩码给指标着色（CPT-Seg）获得了比块（CPT-Blk）更好的结果。这是因为适合物体轮廓的纯色在现实世界的图象中更常见，这使得 CPT-Seg 成为更自然的视觉 sub-prompt（尽管需要更强的注释来训练分割工具）。3. 值得注意的是，CPT 实现的标准差明显小于微调。例如，在 RefCOCO 评估中，CPT-Blk one-shot 相对标准差平均降低了 73.8%。这表明，来自预训练的连贯微调方法可以带来更稳定的 few-shot 训练，这是评估 few-shot 学习模型的关键因素。4. 在 RefCOCO + 评估中，CPT-Blk 在 shot 数为 16 时比微调表现略差。原因是 RefCOCO + 有更多的鉴于色彩的表达（比如穿红色衬衫、戴蓝色帽子的人），这会干扰鉴于色彩的 CPT。然而，这个问题可以通过在全监视场景中使用更多的微调实例来缓解，在这种场景中，模型能够学习如何更好地区分盘问文本和 promp 模板中的色彩。5. 在全监视的设置下，CPT 实现了与强微调 VL-PTM 相当的性能。这表明，即使在全监视的场景中，CPT 也是 VL-PTM 的一种有竞争力的调优方法。综上所述，与普通的微调方法相比，CPT 在 zero-shot、few-shot 和全监视的视觉定位使命中都实现了与之相当或更优越、更稳定的性能。更多细节请参见论文。