斯坦福、Meta AI新研讨：实现AGI之路，数据剪枝比我们想象得更重要

在视觉、语言和语音在内的机器进修诸多领域中，神经标度律表白，尝试缺点通常随着训练数据、模型巨细或估计数量而下降。这种成比例提升已经推动深度进修实现了实质性的机能增长。然而，这些仅通过缩放实现的提升在估计和能源方面带来了相当高的成本。

这种成比例的缩放是不可持续的。例如，想要缺点从 3% 下降到 2% 需求的数据、估计或能量会指数级增长。此前的一些研讨表白，在大型 Transformer 的语言建模中，交叉熵损失从 3.4 下降到 2.8 需求 10 倍以上的训练数据。此外，对于大型视觉 Transformer，额外的 20 亿预训练数据点 (从 10 亿开始) 在 ImageNet 上仅能带来几个百分点的准确率增长。全部这些结果都揭示了深度进修中数据的本质，同时表白收集巨大数据集的实践可能是很低效的。此处要讨论的是，我们是否可以做得更好。例如，我们是否可以用一个选择训练样本的良好策略来实现指数缩放呢？在最近的一篇文章中，研讨者们发现，只增加一些精心选择的训练样本，可以将缺点从 3% 降到 2% ，而无需收集 10 倍以上的随机样本。简而言之，「Sale is not all you need」。

论文链接：https://arxiv.org/pdf/2206.14486.pdf总体来说，这项研讨的贡献在于：1. 利用统计力学，开发了一种新的数据剪枝分析实际，在师生感知机进修环境中，样本根据其教师边际从事剪枝，大 (小) 边际各对应于简单 (困难) 样本。该实际在数量上与数值尝试相符，并揭示了两个惊人的预测:最佳剪枝策略会因初始数据的数量而改变；如果初始数据丰富 (稀缺) ，则应只保持困难 (容易) 的样本。如果选择一个递增的帕累托最优剪枝分数作为初始数据集巨细的函数，那么对于剪枝后的数据集巨细，指数缩放是可能的。

2. 研讨表白，这两个预测在更多通用设置的实践中依旧成立。他们验证了在 SVHN、CIFAR-10 和 ImageNet 上从头训练的 ResNets，以及在 CIFAR-10 上从事微调的视觉 Transformer 的与剪枝数据集巨细有关的缺点指数缩放特征。3. 在 ImageNet 上对 10 个分歧的数据剪枝怀抱从事了大规模基准尝试研讨，发现除了估计密集度最高的怀抱之外，大多数怀抱表现不佳。4. 利用自监视进修开发了一种新的低成本无监视剪枝怀抱，分歧于以前的怀抱，它不需求标签。研讨者证明了这种无监视怀抱与最好的监视剪枝怀抱相媲美，而后者需求标签和更多的估计。这个结果揭示了一种可能性：利用预训练基础模型来修剪新数据集。Is scale all you need？研讨者的感知器数据剪枝实际提出了三个惊人的预测，可以在更通用的环境下从事尝试，比如在 benchmark 上训练的深度神经网络：(1) 相对于随机数据剪枝，当初始数据集比较大时，只保持最难的样本是有收益的，但当初始数据集比较小时，这样反而有害；(2) 随着初始数据集巨细的增加，通过保持最难样本的固定分数 f 从事的数据剪枝应该产生幂律缩放，指数等于随机剪枝；(3) 在初始数据集巨细和所保持数据的分数上优化的尝试缺点，可以通过在更大初始数据集上从事更积极的剪枝，追踪出一个帕累托最优下包络线，打破了尝试缺点和剪枝数据集巨细之间的幂律缩放函数关系。

研讨者用分歧数量的初始数据集巨细和数据剪枝下保存的数据分数 (图 3A 中的实际对比图 3BCD 中的深度进修尝试) ，在 SVHN、CIFAR-10 和 ImageNet 上训练的 ResNets 验证了上述三个预测。在每个尝试设置中，可以看到，较大的初始数据集巨细和更积极的剪枝比幂律缩放表现更好。此外，更大的初始数据集可能会看到更好的缩放（如图 3A）。此外，研讨者发现数据剪枝可以提升迁移进修的表现。他们首先分析了在 ImageNet21K 上预训练的 ViT，然后在 CIFAR-10 的分歧剪枝子集上从事了微调。有趣的是，预训练的模型允许更积极的数据剪枝；只有 10% 的 CIFAR-10 的微调可以媲美或超过全部 CIFAR-10 的微调所获得的机能 (图 4A)。此外，图 4A 提供了一个在微调设置中打破幂律缩放的样本。

通过在 ImageNet1K 的分歧剪枝子集 (如图 3D 所示) 上预训练 ResNet50，研讨者检查了剪枝预训练数据的功效，然后在 CIFAR-10 上对它们从事微调。如图 4B 所示，在最少 50% 的 ImageNet 上从事的预训练能够达到或超过在全部 ImageNet 上从事的预训练所获得的 CIFAR-10 机能。因此，对上游任务的训练前数据从事剪枝仍然可以在分歧的下游任务上保持高机能。总体来说，这些结果显示了剪枝在预训练和微调阶段的迁移进修中的前景。在 ImageNet 上对监视剪枝指标从事基准尝试研讨者注意到，大多数的数据剪枝尝试都是在小规模数据集（即 MNIST 和 CIFAR 的变体）上从事的。所以，为 ImageNet 提出的少数剪枝怀抱很少与在较小数据集上设计的 baseline 从事比较。因此，目前尚不清楚大多数剪枝方法如何缩放到 ImageNet 以及哪种方法最好。为研讨剪枝怀抱的质量在实际上对机能的影响，研讨者决定通过在 ImageNet 上对 8 个分歧的监视剪枝怀抱从事系统评估来填补这一知识空白。

他们观察到怀抱之间的显著机能差异：图 5BC 显示了当每个怀抱下的最难样本的一部分保持在训练集中时的尝试机能。在较小的数据集上，许多怀抱取得了成功，但选择一个明显较小的训练子集（如 Imagenet 的 80％）时，只有少数怀抱在完整数据集训练中仍然获得了相当的机能。尽管如此，大多数怀抱仍然优于随机剪枝（图 5C）。研讨者发现全部剪枝怀抱都会放大类的不平衡，从而导致机能下降。为了解决这个问题，作者在全部 ImageNet 尝试中使用了一个简单的 50% 类平衡率。通过原型怀抱从事自监视数据剪枝如图 5 ，许多数据剪枝怀抱不能很好地缩放到 ImageNet，其中一些确实需求大量估计。此外，全部这些怀抱都需求标注，这限制了它们为在大量未标注数据集训练大规模基础模型的数据剪枝能力。因此，我们显然需求简单、可缩放、自监视的剪枝怀抱。