中山大学HCP实验室新突破：用因果范式再升级多模态大模型

链接：https://arxiv.org/abs/2303.03052

使用预训练的大规模模型在卑鄙任务上进行微调是当前流行的深度进修范式。尤其是近期预训练语言大模型 ChatGPT 的出色表现，使得这套技术范式得到了广泛的认可。经过海量数据的预训练，这些预训练大模型能够顺应现实环境中多变的数据分布，因而在通用场景中表现出较强的鲁棒性。

然而，当用卑鄙场景数据对预训练大模型进行微调以顺应特定利用任务时，绝大多数情况下这些数据具有单一性。以这些数据对预训练大模型进行微调训练，往往会降低模型鲁棒性，使鉴于预训练大模型的利用变得困难。特别是在视觉模型方面，由于图象的多样性远远超过语言，卑鄙微调训练导致视觉相关的预训练大模型鲁棒性上升的题目尤其突出。

之前的研究办法通常通过模型集成等方式在模型参数层面隐式地保持微调后预训练模型的鲁棒性。但是，这些事情并没有分析微调导致模型分布外性能上升的本质原因，也没有明确解决上述大模型微调后鲁棒性上升的题目。

该事情以跨模态大模型为基础，从因果关系的角度分析了预训练大模型鲁棒性损失的本质原因，并据此提出了一种能够明显晋升模型鲁棒性的微调训练办法。该办法使得模型在顺应卑鄙任务的同时，仍能保持较强的鲁棒性，更好地满足实际利用需求。

以 OpenAI 在 2021 年发布的跨模态预训练大模型 CLIP（Contrastive Language–Image Pre-training）为例：CLIP 是一种鉴于对比的图片 – 文本联合进修的跨模态预训练大模型，是 Stable Diffusion 等生成式模型的基础。该模型通过包含约 4 亿个图象 – 文本对的海量多源数据进行训练，在一定程度上进修到了一些对于分布变化鲁棒的因果关系。

然而，当用特征单一的卑鄙数据对 CLIP 进行微调时，容易破坏模型进修到的这些因果知识，因为训练图象的非语义表征和语义表征是高度纠缠的。例如，将 CLIP 模型迁移利用到 “农场” 这一卑鄙场景时，许多训练图象中的 “奶牛” 都在草地上。此时，微调训练可能使模型进修到依赖草地这一非 “奶牛” 的语义表征来预测图象的语义。然而，这种相关性并不一定是真实的，例如 “奶牛” 也可能出现在公路上。因此，模型在进行微调训练后，其鲁棒性会降低，利用时的输出结果可能变得极不稳定，缺乏可控性。

鉴于团队多年的大模型搭建和训练经验，该事情从因果关系的角度重新审视了预训练模型微调导致鲁棒性上升的题目。鉴于因果建模与分析，该事情提出了一种鉴于图象掩码构造反事实样本，并通过掩码图象进修提高模型鲁棒性的微调训练办法。

具体而言，为了打破卑鄙训练图象中的假性相关，该事情提出了一种鉴于类激活图（CAM）的办法掩盖并替换图象特定区域的内容，用以操纵图象的非语义表征或语义表征，产生反事实样本。微调模型可以通过蒸馏的方式进修模仿预训练模型对这些反事实样本的表征，从而更好地解耦语义因素与非语义因素的影响，提高对卑鄙领域中分布偏移的顺应能力。

实验表明，该办法能够明显提高预训练模型在卑鄙任务中的性能，同时在晋升鲁棒性方面相较于现有大模型微调训练办法有明显优势。

该事情的重要意义是在一定程度上打开了预训练大模型从深度进修范式中继承的 “黑盒子”，是解决大模型的 “可解释性” 和 “可控性” 题目的重要探索，让我们离切实可享受的由预训练大模型带领的生产力晋升越来越近。

中山大学 HCP 团队自 Transformer 机制问世起，从事大模型技术范式研究多年，致力于晋升大模型的训练效率和引入因果模型来解决大模型的 “可控性” 题目。团队多年来自主研究开发了多个视觉、语言、语音和跨模态的预训练大模型，与华为诺亚方舟实验室联合开发的 “悟空” 跨模态大模型 (链接：https://arxiv.org/abs/2202.06767) 即是其中的典型案例。

团队简介

中山大学人机物智能融合实验室 (HCP Lab) 在多模态认知计算、机器人与嵌入式系统、元宇宙与数字人、可控内容生成等领域开展体系化研究，并深入利用场景打造产品原型，输出大量原创技术及孵化创业团队。实验室由 IAPR Fellow 林倞教授于 2010 年创办，获得中国图象图形学会科技一等奖、吴文俊自然科学奖、省级自然科学一等奖等荣誉；培养了梁小丹、王可泽等国家级青年人才。