开挖散布模型小动作，天生图象几乎原版复制训练数据，隐衷要暴露了

去噪散布模型是一类新兴的天生神经网络，通过迭代去噪过程从训练分布中天生图象。与之前的办法（如 GANs 和 VAEs）相比，这类散布模型产生的样本质量更高，且更容易扩展和控制。因此，经过快速发展，它们已经可以天生高分辨率图象，而公众也对诸如 DALL-E 2 这样的大型模型产生了极大的兴趣。天生散布模型的魅力在于它们合成新图象的能力，从表面上看，这些图象不同于训练集中的任何东西。而事实上，过去大规模的训练工作没有创造过拟合会成为问题，隐衷敏感领域的研讨人员甚至建议可以用散布模型来保护隐衷，通过天生合成示例来天生真实图象。这一系列的工作是在散布模型没有影象和从新天生训练数据的假设下举行的。而这样做将违反所有的隐衷保障，并滋生模型泛化和数字伪造方面的许多问题。本文中，来自谷歌、 DeepMind 等机构的研讨者证明了 SOTA 散布模型确实可以影象和从新天生单个训练示例。论文地址：https://arxiv.org/pdf/2301.13188v1.pdf首先，研讨提出并实现了图象模型中影象的新界说。然后，研讨设计了分为两阶段的数据提炼袭击（data extraction attack），运用标准办法天生图象，并对一些图象举行标记。研讨将该办法应用于 Stable Diffusion 和 Imagen，从而提炼了 100 多个几乎相同的训练图象正本，这些图象中，既有个人可鉴别照片也有商标 logo（如图 1）。

为了更好地了解影象的方式和其中的缘由，研讨者在 CIFAR10 上训练了数百个散布模型，以分析模型精度、超参数、增强和重复数据删除对隐衷的影响。散布模型是研讨评价中私密度最低的图象模型形式，它们泄漏的训练数据是 GANs 的两倍之多。更糟的是，研讨还创造现有的隐衷增强技术无法提供可接受的隐衷 – 效用权衡。总的来说，本文强调了日益强大的天生模型和数据隐衷之间存在着紧张的关系，并提出了关于散布模型如何工作以及如何被妥善部署的问题。为什么要做这项研讨？了解散布模型如何影象和从新天生训练数据的背后存在着两个动机。第一个是了解隐衷风险。从新天生从互联网上抓取数据的散布模型可能会带来与语言模型类似的隐衷和版权风险。比方说，已经有人指出，影象和从新天生受版权保护的文本和源代码存在着潜在的侵权指标。那么同理，复制专业艺术家创作的图象也会被称为数字伪造，艺术界为此展开了一场争论。第二个是了解泛化。除了数据隐衷，了解散布模型如何以及为什么影象训练数据有助于了解它们的泛化能力。例如，大规模天生模型的一个常见问题是，它们令人印象深刻的结果是来自真正的天生，还是直接复制和从新混合训练数据的结果。通过研讨影象，可以提供天生模型执行这种数据复制速率的具体经验描述。从 SOTA 散布模型中提炼数据从 Stable Diffusion 中提炼数据现在从 Stable Diffusion（最大、最流行的开源散布模型）中提炼训练数据。本次提炼将先前工作的办法应用于图象，包括两个步骤：

1. 运用标准抽样方式的散布模型并运用前一节的已知 prompt 天生多个示例。

2. 举行推理，将新一代的模型与已影象的训练模型相分离。

为了评价袭击的有效性，研讨从训练数据集中选择了 35 万个重复次数最多的示例，并为每个提示天生 500 个候选图象（总共天生 1.75 亿张图象）。首先，研讨对所有这些天生的图象举行排序，以确定哪些是影象训练数据天生的图象。然后，将这些天生的每张图象与论文中界说 1 下的训练图象举行比较，并将每张图象正文为提炼或未提炼。研讨创造有 94 张图象被提炼，为了确保这些图象不仅是符合某些任意的界说，研讨还通过视觉分析手动正文了前 1000 张天生的图象，这些图象要么是影象的，要么是没有影象的，并且创造另外 13 张（总共 109 张图象）几乎是训练示例的正本，即使它们不符合研讨 L_2 范数界说。图 3 显示了提炼图象的子集，这些图象以近乎完美像素的精度再现。

实验还给出了在有给定带正文的有序图象集的情况下，计算曲线，评价提炼的图象数量与袭击的假阳性率。袭击异常精确：在 1.75 亿张天生的图象中，可以鉴别出 50 张 0 假阳性的影象图象，并且所有的影象图象都可以以 50% 以上的精度提炼。图 4 包含了两种影象界说的精度 – 召回曲线。

从图象中提炼数据尽管 Stable Diffusion 是目前公开可用的散布模型中最佳选择，但一些非公开模型运用更大的模型和数据集获得了更强的性能。先前研讨创造，较大的模型更容易记住训练数据，因此该研讨对 Imagen（一个 20 亿参数的文本 – 图象散布模型）展开了研讨。令人惊讶的是，研讨创造在 Imagen 中袭击非分布图象比在 Stable Diffusion 中更有效。在 Imagen 上，研讨尝试提炼出 500 张 out-of – distribution（OOD）得分最高的图象。Imagen 影象并复制了其中 3 个图象（这三个图象在训练数据集中是独有的）。相比之下，当研讨将相同的办法应用于 Stable Diffusion 时，即使在尝试提炼 10,000 个最离群的样本后，也未能鉴别任何影象。因此，在复制和非复制图象上，Imagen 比 Stable Diffusion 的私密性更差。这可能是由于 Imagen 运用的模型比 Stable Diffusion 更大，因此记得的图象也就更多。此外，Imagen 在更小的数据集上举行了更多的迭代训练，这也可以有助于提高影象水平。