正视长尾挑战！颜水成、冯佳时团队发布首篇《深度长尾进修》综述

深度长尾进修是视觉识别使命中最具挑战性的题目之一，旨在从大量遵循长尾种别分布的图像中训练出功能良好的深度神经网络模型。近年来，学者们对该题目开展了大量研究，并取得了可喜进展。鉴于该领域的飞速发展，在这篇综述中，来自新加坡国立大学和 SEA AI Lab 的颜水成、冯佳时团队对深度长尾进修的最新进展从事了系统性的梳理和分类讨论，并设计了一个新的评价目标对现存办法从事实验分析，同时也对未来的重要研究方向从事了展望。

论文链接：https://arxiv.org/pdf/2110.04596.pdf为什么要重视深度长尾进修？近年来，深度进修已经成为人工智能领域中最重要的技术之一。因强大的数据特征表达能力，深度神经网络已经被成功运用到众多视觉识别使命中并取得了显著的突破，如图像分类，物体检测和语义分割等。深度神经网络的成功源于其大量的模型参数对使命模式的进修，而这一过程需要大量的标注数据从事模型训练。在传统视觉识别使命中，标注数据的种别分布往往受到人为调整而变得均衡，即不同种别的样本数量无明显差别。而在实际运用中，自然采集的数据种别通常表现为长尾分布（如下图），即一小部分种别拥有大量的样本，而其余大部分种别只有较少的样本量。然而，这一种别不平均题目往往使得深度神经网络的训练变得非常困难。如下图所示，在长尾数据下训练的模型容易偏向训练数据中的普遍类，即普遍类的特征空间往往大于少数类的特征空间，且分类决策边界会向少数类方向偏移以确保更好地分类普遍类，这一现象往往导致深度模型在数据量有限的少数类上表现不佳。因此，直接使用经验风险最小化办法来训练深度模型无法处理具有长尾种别不平均题目的实际运用，如人脸识别，物种分类，医学图像诊断，无人机检测等等。

为了办理这一长尾种别不平均题目，深度长尾进修旨在从大量遵循长尾类分布的图像中训练出功能良好的深度模型。鉴于种别不平均题目在现实使命中十分广泛，并且训练数据和尝试数据的种别分布差异会极大限制神经网络的实际运用，这一研究课题具有重要的现实意义，是推动深度神经网络实现模型落地的重要范式。尽管深度长尾进修领域发展迅速，应运而生的大量论文却容易导致学者和算法工程师们迷失在知识的海洋中。为了办理这一题目，该论文首次对深度长尾进修从事了系统性的综述，梳理出了一条深度长尾进修的清晰脉络，从而帮助业界学者和专家更好地理解深度长尾进修，并推动该领域的蓬勃发展。该综述首先详细地介绍了深度长尾进修的使命设定、数据集、衡量目标、主流网络结构、知名竞赛、以及与其他使命间的关系。随后，该文将现存办法从事分类梳理。如下图所示，现存办法被分为三个主要的种别（即种别重平均、信息巩固和网络模块改进），同时能够被进一步细分为九个子种别。鉴于该分类法，该论文对现存办法从事了详细的综述和讨论。

其中经典的办法如下表所示。同时作者还整理了一个深度长尾进修论文列表：https://github.com/Vanint/Awesome-LongTailed-Learning

此外，该综述还提出了一个新的经验衡量目标（相对精度），并以此对现存最优的长尾进修算法从事了实验，旨在更好地对比现存办法对种别不平均题目的处理能力。最后，该文探讨了深度长尾进修的主要运用场景和重要的未来研究方向。深度长尾进修的主要办法种别种别重平均：种别重平均是长尾进修的主流办法之一，旨在对不同种别的数据量差异从事再平均。该类办法可细分为种别重采样，种别代价敏感进修和对数几率调整。相较于其他的长尾进修范式，种别重平均办法相对简单，却能获得相似甚至更好的功能。同时，部分的种别重平均办法（尤其是代价敏感进修）对于办理长尾种别不平均题目具有理论分析保证。这些优点使得该类办法成为办理实际长尾题目的重要工具。然而，该类办法的缺点在于，少数类的功能提拔往往是以普遍类的功能牺牲作为代价。尽管总体功能得到了提拔，但该类办法无法本质地办理长尾题目中缺少数据信息的题目，尤其是在少数类上。信息巩固：鉴于信息巩固的办法旨在引入额外信息来巩固模型训练，从而提拔模型在长尾数据上的进修功能。该类办法可细分为迁移进修和数据巩固。因为引入了额外的信息，鉴于信息巩固的办法能够在不损失普遍类功能的情况下提拔少数类功能。考虑到缺乏足够的少数类样本是长尾进修的一个关键题目，该类办法值得进一步探究。例如，数据巩固是一项相对基础的技术，可以同时被运用到多种长尾进修使命中，这使得它非常具有实用性。但是，简单地运用现存经典的、不考虑种别差异的数据巩固技术到长尾进修使命中是有局限的：即使长尾进修的整体功能获得提拔，但因为普遍类的数据量更多，导致普遍类的数据巩固也更多，从而进一步加剧了种别不平均题目。因此，如何设计更好的针对深度长尾进修的数据巩固办法是一个值得探究的题目。网络模块提拔：除了种别重平均和信息巩固办法以外，学者们也探究了如何在长尾进修中有针对性地提拔网络模块，包括：（1）表示进修提拔特征特征提取器，（2）分类器设计改进模型分类器，（3）解耦训练促进特征提取器和分类器的训练，（4）集成进修提拔整体的网络结构。其中，表征进修和分类器设计是深度长尾进修的基本题目，值得进一步探究。解耦训练在最近的研究中越发受到关注；在该方案中，第二阶段的类平均分类器微调能带来显着的功能提拔，并不会引入太多额外的计算成本。对该类办法的一种批评是，累积的训练阶段会使解耦训练不太实用，难以直接与其他长尾题目中（如目标检测和实例分割）的经典办法相结合。尽管如此，解耦训练的想法在概念上很简单，因此可以很容易地在这些题目中用来设计新办法。最后，与其他类型的长尾进修办法相比，鉴于集成进修的办法通常在头类和尾类上都能获得更好的功能。这类办法的一个题目是，多个专家的使用会导致模型的计算成本增加。但是，该题目可以通过使用共享特征提取器来缓解，并且以效率为导向的专家分配策略和知识蒸馏策略也可以有效降低计算代价。深度长尾进修的新评价目标深度长尾进修旨在处理长尾种别不平均题目以获得更好的模型功能，通常以尝试集精度为衡量目标来评价长尾进修办法的功能及其处理种别不平均题目的能力。然而，因为模型精度同时也受除种别不平均题目之外的其他因素影响，所以尝试集精度目标并不能准确反映不同办法在处理种别不平均题目时的相对优势。例如，鉴于数据巩固的长尾进修办法也会提拔在种别平均数据集上所训得到模型的尝试精度；在这种情况下很难判断尝试精度的提拔是来自于种别不平均题目的缓解还是来自更普遍据信息的引入。这也启发大家重新思考：到底怎样才算真正办理长尾进修？为此，该综述提出了一个新的相对精度目标，用于消除非种别不平均因素的影响，从而更好地衡量长尾进修算法对于种别不平均题目的实际办理能力。鉴于这一目标，该综述开展实验对现存长尾进修算法从事了深入分析。

深度长尾进修的未来方向尽管深度长尾进修已经取得长足的进展，但依然存在许多开放性的题目以待进一步研究。新办法探究：不依赖于标签统计频率的种别重平均；鉴于无标签数据的迁移进修和半监督进修；适用于多个长尾进修使命的数据巩固；提拔全部种别功能的集成进修。新使命设定探究：尝试集种别分布未知的长尾进修；存在开放种别的长尾进修；联邦长尾进修；类增量长尾进修；多域长尾进修；鲁棒长尾进修；长尾回归；长尾视频进修。