图像级弱监视语义分隔（WSSS）是一项基本但极具挑战性的计算机视觉工作，该工作有助于促进场景理解和自动驾驶领域的发展。现有的技术大多采用基于分类的类激活图（CAM）作为初始的伪标签，这些伪标签往往集中在有判断性的图像地区，缺乏针对于分隔工作的定制化特色。 为了解决上述问题，字节跳动 – 智能创作团队提出了一种即插即用的激活值调制和重校准（Activation Modulation and Recalibration 简称 AMR）模块来天生面向分隔工作的 CAM，大量的尝试表明，AMR 不仅在 PASCAL VOC 2012 数据集上赢得最先进的本能。尝试表明，AMR 是即插即用的，可以作为其他先进方法的子模块来提高本能。论文已入选机器学习顶级论文 AAAI2022，相关代码即将开源。
论文链接：https://arxiv.org/abs/2112.08996
GitHub 链接：https://github.com/jieqin-ai/AMR
引言论文提出了一种新颖的激活调制和重校准（AMR）方案，该方案利用聚光灯分支和抵偿分支赢得加权 CAM，从而提供重校准的监视信号。注意力调制模块（AMM）按照通道 – 空间的顺序重新学习特色重要性的分布，这有助于显式地建模通道相关性和空间编码，以自适应地调制面向分隔工作的激活响应。此外，研究者还针对双分支引入了一种交织伪监视机制，它可以被视为一种语义相似的正则化机制来相互细化两个分支。尝试结果表明，该方法可以通过学习大量粗粒度的标注赢得良好的分隔结果，这对实际应用非常有益。
方法
1、激活调制和重新校准方案 AMRAMR 是由一个聚光灯分支和一个抵偿分支组成的互补的双分支网络结构。具体来说，聚光灯分支用于天生基础的判断性强地区的 CAM，抵偿分支用于天生面向分隔工作的 CAM，为聚光灯的 CAM 提供互补的监视信号。抵偿分支能够挖掘重要却容易被聚光灯分支忽视的地区，天生的抵偿 CAM 通过重新校准聚光灯 CAM 来天生最终的加权 CAM：
2、注意力调制模块 AMM论文提出了注意调制模块（AMM）从通道 – 空间顺序的角度重新排序特色重要性的分布，这有助于显式地建模通道间的相互依赖性和空间编码，以自适应地调节面向分隔的激活响应值。AMM 包括通道注意调制和空间注意调制。研究者首先将输入到通道 AMM，通过平均池化和卷积层显式地建模通道的相互依赖性。为了进一步在空间维度上建模内部空间的关系，研究者还引入了一个空间 AMM 来级联通道 AMM。研究者利用高斯调制函数来增强次要特色并抑制最敏感和最不敏感的特色，该函数强调通过次重要的地区来直接提取容易忽略的地区，这对于分隔工作至关重要。
3、交织伪监视受益 CPS为了充分利用其他分支提供的互补 CAM，研究者在聚光灯 CAM 和抵偿 CAM 之间增加一个交织伪监视受益函数，起到语义相似性正则的作用：
交织伪监视受益不仅正则化了抵偿分支，还将判断性地区和容易忽略的地区彼此拉近。因此可以赢得两个互补地区来重新校准初始 CAM。综上所述，AMR 采用最终下述受益函数进行优化：
尝试在 PASCAL VOC2012 数据集上，一方面，AMR 超过了当前图像级弱监视方法，取得了最佳的分隔本能。另一方面，AMR 甚至比一些具有更细粒度监视（如显著性监视）的算法赢得更好的效果。
可视化结果如下图所示，从结果可以看出两个互补的分支能够关注到不同的响应地区，最终的加权结果能挖掘出更多属于目标对象的地区，从而赢得更好的分隔本能。
原创文章，作者：机器之心，如若转载，请注明出处：https://www.iaiol.com/news/26524
