分类器可视化表明StylEx：谷歌、MIT等找到了作用图象分类的关键属性

神经网络可以非常出色地执行各种任务，但它们是如何做出决定的呢？例如，在图象分类任务中，模型是如何确定一张图象属于这一类而不是属于另一类，这通常是一个谜题。表明神经网络如何做决策的过程，可能会在某些领域产生重大的社会作用，例如医学图象分析和自动驾驶。以前对分类器进行视觉表明的方式（例如注意力图 Grad-CAM）），会强调图象中的哪些区域对分类有作用，但这些方式并没有表明这些区域中的哪些属性决定分类结果：例如是颜色、形状，还是其他的属性决定模型进行这样的分类。另一类方式是通过在一类和另一类之间平滑转换图象来提供表明（例如 GANalyze）。然而，这些方式倾向于一次性改变所有属性（例如颜色、形状），因此，很难隔离单个属性带来的作用。去年，来自谷歌、希伯来大学、 MIT 等机构的钻研者提出了一种新的分类器可视化表明方式，相关论文被 ICCV 2021 接收。他们提出了 StylEx ，可以自动发现和可视化作用分类器的解耦属性（disentangled attributes）。StylEx 允许通过单独操纵这些属性来探索单个属性的作用（也就是说，更改一个属性不会作用其他属性）。StylEx 适用于广泛的领域，包括动物、树叶、面部和视网膜图象。该钻研结果表明，StylEx 找到的属性与语义属性非常吻合，可以天生有意义的一定于图象的表明，并且在用户钻研中可以被人们所表明。

论文地址：https://arxiv.org/pdf/2104.13369.pdf

论文主页：https://explaining-in-style.github.io/

训练 StyleGAN 来表明分类器

表明猫和狗分类器：StylEx 提供了可以表明分类的 top-K 个解耦属性。移动每一个旋钮可以操纵图象中的相应属性，同时保持图形的其他属性不变。例如，要了解给定图象上的猫与狗分类器，StylEx 可以自动检测解耦属性，并可视化操纵每一个属性如何作用分类器几率。然后用户可以查看这些属性并对它们所代表的内容进行语义表明。例如，在上图中，可以得出狗比猫更容易张开嘴（上图 GIF 中的属性 #4）、猫的瞳孔更像狭缝（属性 # 5），猫的耳朵不倾向于折叠（属性 #1），等等。下面的视频提供了该方式的简短说明：给定一个分类器和一个输出图象，该钻研希望找到并可视化作用其分类的各个属性。钻研人员采用了可以天生高质量图象的 StyleGAN2 架构，整个过程包括两个阶段：第一阶段：训练 StylEx论文《StyleSpace Analysis: Disentangled Controls for StyleGAN Image Generation》中的钻研表明，StyleGAN2 包含一个名为「StyleSpace」的解耦潜在空间，其包含训练图象的单个语义属性。该钻研训练了一个类似于 StyleGAN 的天生器来满足分类器需求，从而可以使 StyleSpace 适应分类器一定的属性。StylEx 通过使用两个附加组件训练 StyleGAN 天生器来实现。第一个是编码器，它与具有 reconstruction-loss 的 GAN 一起训练，并强制天生的输出图象在视觉上与输出相似，从而允许天生器应用于任何给定的输出图象。然而，仅仅只有图象的视觉相似性是不够的，因为它可能不一定捕获对一定分类器（例如医学病理学）重要的微细视觉细节。为了确保这一点，该钻研在 StyleGAN 训练中添加了一个 classification-loss，它强制天生图象的分类器几率与输出图象的分类器几率相同。这保证了微细视觉细节（例如医学病理学）包含在天生的图象中，这对分类器来说是很重要的。

训练 StyleEx：联合训练天生器和编码器。在天生图象和原始图象之间应用 reconstruction-loss，以保持视觉相似性。在天生图象的分类器输出和原始图象的分类器输出之间应用 classification-loss，以确保天生器能够捕获对分类很重要的微细视觉细节。第二阶段提取解耦属性训练完成之后，钻研者在经过训练的分类器的 StyleSpace 中搜索显著作用分类器的属性，他们对每一个 StyleSpace 进行操纵并测量其对分类几率的作用。对于给定的图象，钻研者寻找对图象分类作用最大的属性。这一过程可以找到 top-K 个一定图象属性。对每一个类的图象重复这个过程，可以进一步发现一定类的 top-K 属性，这个端到端的系统被命名为 StylEx。

图象一定属性提取的可视化说明StylEx 适用于各种领域和分类器StylEx 适用于各种领域和分类器（二元和多类），下面是感知性别分类器展示的 top-4 属性。对于性别分类器，以下是每一个分类器检测到的前四个属性。对于每一个属性，该钻研在源图象和属性操纵图象之间进行变换。属性（例如胡子、眉毛等）对分类器几率的作用程度显示在每一个图象的左上角。

感知性别分类器 Top-4 属性

感知年龄分类器 Top-4 属性StylEx 揭示了给定分类器可以从数据中学会利用图象不同属性，这些属性可能不一定代表现实中类别标签（例如年轻或年长）之间的实际物理差异。特别是，这些检测到的属性可能会揭示分类器训练或数据集中的偏差。StylEx 可以进一步用于提高神经网络的公平性，例如，通过增加训练数据集的示例来补偿 StylEx 方式揭示的偏差，有针对性的进行补偿。对于分类严重依赖精细细节的任务，将 classifier loss 添加到 StyleGAN 训练中至关重要。举例来说，在没有 classifier loss 的情况下，在视网膜图象上训练的 GAN 不一定会产生与一定疾病对应的精细病理细节。而添加 classification loss 使得 GAN 天生这些微妙的病理，作为分类器的表明。下面以视网膜图象分类器（DME 疾病）和不健康 / 健康树叶分类器为例。StylEx 能够发现与疾病指标一致的属性，例如视网膜的「硬渗出物」。