用CNN做根蒂根基模型，可变形卷积InternImage兑现检测支解新纪录！

来自浦江实验室、清华等机构的钻研人员提出了一种新的鉴于卷积的根蒂根基模型，称为 InternImage，与鉴于 Transformer 的收集不同，InternImage 以可变形卷积作为核心算子，使模型不仅具有检测和支解等下游任务所需的动态有效感受野，而且能够进行以输入信息和任务为条件的自适应空间聚拢。InternImage-H 在 COCO 物体检测上达到 65.4 mAP，ADE20K 达到 62.9，刷新检测支解新纪录。

近年来大规模视觉 Transformer 的蓬勃发展推动了计算机视觉领域的性能边界。视觉 Transformer 模型通过扩大模型参数量和训练数据从而击败了卷积神经收集。来自上海人工智能实验室、清华、南大、商汤和港中文的钻研人员总结了卷积神经收集和视觉 Transformer 之间的差距。从算子层面看，传统的 CNNs 算子缺乏长距离依赖和自适应空间聚拢能力；从结构层面看，传统 CNNs 结构缺乏先进组件。

针对上述技术问题，来自浦江实验室、清华等机构的钻研人员创新地提出了一个鉴于卷积神经收集的大规模模型，称为 InternImage，它将稀疏动态卷积作为核心算子，通过输入相关的信息为条件兑现自适应空间聚拢。InternImage 通过减少传统 CNN 的严格归纳偏置兑现了从海量数据中学习到更强大、更稳健的大规模参数模式。其有效性在包括图像分类、目标检测和语义支解等视觉任务上得到了验证。并在 ImageNet、COCO 和 ADE20K 在内的挑战性基准数据集中取得了具有竞争力的效果，在同参数量水平的情况下，超过了视觉 Transformer 结构，为图像大模型提供了新的方向。

论文链接：https://arxiv.org/abs/2211.05778开源代码：https://github.com/OpenGVLab/InternImage

传统卷积神经收集的局限

扩大模型的规模是提高特征表示质量的重要策略，在计算机视觉领域，模型参数量的扩大不仅能够有效加强深度模型的表征学习能力，而且能够兑现从海量数据中进行学习和知识获取。ViT 和 Swin Transformer 首次将深度模型扩大到 20 亿和 30 亿参数级别，其单模型在 ImageNet 数据集的分类准确率也都突破了 90%，远超传统 CNN 收集和小规模模型，突破了技术瓶颈。但是，传统的 CNN 模型由于缺乏长距离依赖和空间关系建模能力，无法兑现同 Transformer 结构相似的模型规模扩展能力。钻研者总结了传统卷积神经收集与视觉 Transformer 的不同之处：

（1）从算子层面来看，视觉 Transformer 的多头注意力机制具有长距离依赖和自适应空间聚拢能力，受益于此，视觉 Transformer 可以从海量数据中学到比 CNN 收集更加强大和鲁棒的表征。

（2）从模型架构层面来看，除了多头注意力机制，视觉 Transformer 拥有 CNN 收集不具有的更加先进的模块，例如 Layer Normalization (LN), 前馈神经收集 FFN, GELU 等。

尽管最近的一些工作尝试使用大核卷积来获取长距离依赖，但是在模型尺度和精度方面都与最先进的视觉 Transformer 有着一定距离。

可变形卷积收集的进一步拓展

InternImage 通过重新设计算子和模型结构提升了卷积模型的可扩展性并且缓解了归纳偏置，包括（1）DCNv3 算子，鉴于 DCNv2 算子引入共享投射权重、多组机制和采样点调制。（2）根蒂根基模块，融合先进模块作为模型建立的基本模块单元（3）模块重叠法规，扩展模型时规范化模型的宽度、深度、组数等超参数。

该工作致力于建立一个能够有效地扩展到大规模参数的 CNN 模型。首先，重新设计的可变形卷积算子 DCNv2 以适应长距离依赖和弱化归纳偏置；然后，将调整后的卷积算子与先进组件相结合，建立了根蒂根基单元模块；最后，探索并兑现模块的重叠和缩放法规，以建立一个具有大规模参数的根蒂根基模型，并且可以从海量数据中学习到强大的表征。

算子层面，该钻研首先总结了卷积算子与其他主流算子的主要区别。当前主流的 Transformer 系列模型主要依靠多头自注意力机制兑现大模型建立，其算子具有长距离依赖性，足以建立远距离特征间的连接关系，还具有空间的自适应聚拢能力以兑现建立像素级别的关系。但这种全局的注意力机制其计算和存储需求量巨大，很难兑现高效训练和快速收敛。同样的，局部注意力机制缺乏远距离特征依赖。大核密集卷积由于没有空间聚拢能力，而难以克服卷积天然的归纳偏置，不利于扩大模型。因此，InternImage 通过设计动态稀疏卷积算子，达到兑现全局注意力效果的同时不过多浪费计算和存储资源，兑现高效训练。

钻研者鉴于 DCNv2 算子，重新设计调整并提出 DCNv3 算子，具体改进包括以下几个部分。

（1）共享投射权重。与常规卷积类似，DCNv2 中的不同采样点具有独立的投射权重，因此其参数大小与采样点总数呈线性关系。为了降低参数和内存复杂度，借鉴可分离卷积的思路，采用与位置无关的权重代替分组权重，在不同采样点之间共享投影权重，所有采样位置依赖性都得以保留。

（2）引入多组机制。多组设计最早是在分组卷积中引入的，并在 Transformer 的多头自注意力中广泛使用，它可以与自适应空间聚拢配合，有效地提高特征的多样性。受此启发，钻研者将空间聚拢过程分成若干组，每个组都有独立的采样偏移量。自此，单个 DCNv3 层的不同组拥有不同的空间聚拢模式，从而产生丰富的特征多样性。

（3）采样点调制标量归一化。为了缓解模型容量扩大时的不稳定问题，钻研者将归一化模式设定为逐采样点的 Softmax 归一化，这不仅使大规模模型的训练过程更加稳定，而且还建立了所有采样点的连接关系。

建立 DCNv3 算子之后，接下来首先需要规范化模型的根蒂根基模块和其他层的整体细节，然后通过探索这些根蒂根基模块的重叠策略，建立 InternImage。最后，根据所提出模型的扩展法规，建立不同参数量的模型。

根蒂根基模块。与传统 CNN 中广泛使用的瓶颈结构不同，该钻研采用了更接近 ViTs 的根蒂根基模块，配备了更先进的组件，包括 GELU、层归一化（LN）和前馈收集（FFN），这些都被证明在各种视觉任务中更有效率。根蒂根基模块的细节如上图所示，其中核心算子是 DCNv3，通过将输入特征通过一个轻量级的可分离卷积来预测采样偏置和调制尺度。对于其他组件，遵循与普通 Transformer 相同的设计。

叠加法规。为了明确区块重叠过程，该钻研提出两条模块重叠法规，其中第一条法规是后三个阶段的通道数，由第一阶段的通道数决定，即；第二条法规是各模块组号与各阶段的通道数对应，即；第三，重叠模式固定为 “AABA”，即第 1、2 和 4 阶段的模块重叠数是相同的，并且不大于第 3 阶段。由此选择将参数量为 30M 级别的模型作为根蒂根基，其具体参数为：Steam 输出通道数为 64；分组数为每个阶段输入通道数的 1/16，第 1、2、4 阶段的模块重叠数为 4，第 3 阶段的模块重叠数为 18，模型参数为 30M。

模型缩放法规。鉴于上述约束条件下的最优模型，该钻研规范化了收集模型的两个缩放维度：即深度 D（模块重叠数）和宽度 C（通道数），利用限制因子和沿着复合系数对深度和宽度进行缩放，即，，其中，根据实验其最佳设置为。

按照此法规，该钻研建立了不同尺度的模型，即 InternImage-T、S、B、L、XL。具体参数为：

实验结果

图像分类实验：通过使用 427M 的公共数据集合：Laion-400M，YFCC15M，CC12M，InternImage-H 在 ImageNet-1K 的精度达到了 89.2%。

目标检测：以最大规模的 InternImage-H 为骨干收集，并使用 DINO 作为根蒂根基检测框架，在 Objects365 数据集上预训练 DINO 检测器，然后在 COCO 上进行微调。该模型在目标检测任务中达到了 65.4% 的最优结果，突破了 COCO 目标检测的性能边界。

语义支解：在语义支解上，InternImage-H 同样取得了很好的性能，结合 Mask2Former 在 ADE20K 上取得了当前最高的 62.9%。

结论

该钻研提出了 InternImage，这是一种新的鉴于 CNN 的大规模根蒂根基模型，可以为图像分类、对象检测和语义支解等多功能视觉任务提供强大的表示。钻研者调整灵活的 DCNv2 算子以满足根蒂根基模型的需求，并以核心算子为核心开发了一系列的 block、stacking 和 scaling 法规。目标检测和语义支解基准的大量实验验证了 InternImage 可以获得与经过大量数据训练、且精心设计的大规模视觉 Transformer 相当或更好的性能，这表明 CNN 也是大规模视觉根蒂根基模型钻研的一个相当大的选择。尽管如此，大规模的 CNN 仍处于早期发展阶段，钻研人员希望 InternImage 可以作为一个很好的起点。