AAAI 2023 | 超越SOTA 3.27%，上交大等提出自顺应要地聚拢新法子

本文介绍的是一篇收录于 AAAI 2023 的论文，论文由位于上海交通大学的上海市可扩展估计与系统重点实验室、贝尔法斯特女王大学的华扬老师和路易斯安那州立大学的王灏老师共同完成。

论文链接：https://arxiv.org/abs/2212.01197

代码链接（包含ALA模块的应用说明）：https://github.com/TsingZ0/FedALA

该论文提出了一种用于联邦进修的自顺应要地聚拢法子，通过从全部模型中自动拿获客户机所需信息的方式来应对联邦进修中的统计异质性问题。作家对比了 11 个 SOTA 模型，并取得了超越最优法子 3.27% 的优异显露。作家将其中的自顺应要地聚拢模块应用到其他联邦进修法子上取得了最多 24.19% 的提升。

1 介绍

联邦进修（FL）通过将用户隐私数据保留在要地而不进行传播的方式，帮助人们在保护隐私的情况下，充分发掘用户数据中蕴含的价值。但由于客户机之间数据不可见，数据的统计异质性（数据非独立同分布（non-IID）和数据量不平衡现象）便成了 FL 的巨大挑战之一。数据的统计异质性使得传统联邦进修法子（如 FedAvg 等）很难通过 FL 进程训练得到适用于每个客户机的单一全部模型。

近年来，个性化联邦进修（pFL）法子因其应对数据统计异质性的能力受到了越来越多的关注。与寻求高质量全部模型的传统 FL 不同，pFL 法子的目标是借助联邦进修的协同估计能力为每个客户机训练适用于自身的个性化模型。现有的在服务器上聚拢模型的 pFL 研究可以分为以下三类：

(1) 进修单个全部模型并对其进行微调的法子，包括 Per-FedAvg 和 FedRep；

(2) 进修额外个性化模型的法子，包括 pFedMe 和 Ditto；

(3) 通过个性化聚拢（或要地聚拢）进修要地模型的法子，包括 FedAMP、FedPHP、FedFomo、APPLE 和 PartialFed。

类别（1）和（2）中的 pFL 法子将全部模型中的所有信息用于要地初始化（指在每次迭代的局部训练之前初始化局部模型）。然而，在全部模型中，只有提高要地模型质量的信息（符合要地训练目标的客户机所需信息）才对客户机有益。全部模型的泛化能力较差是因为其中同时存在对于单一客户机来说需要和不需要的信息。因此，研究者们提出类别（3）中的 pFL 法子，通过个性化聚拢拿获全部模型中每个客户机所需的信息。但是，类别（3）中的 pFL 法子依旧存在（a）没有考虑客户机要地训练目标（如 FedAMP 和 FedPHP）、（b）估计价值和通讯价值较高（如 FedFomo 和 APPLE）、（c）隐私泄露（如 FedFomo 和 APPLE）和（d）个性化聚拢与要地训练目标不匹配（如 PartialFed）等问题。此外，由于这些法子对 FL 进程做了大量修改，它们应用的个性化聚拢法子并不能被直接用于大多数现有 FL 法子。

为了从全部模型中精确地拿获客户机所需信息，且相比于 FedAvg 不增加每一轮迭代中的通讯价值，作家提出了一种用于联邦进修的自顺应要地聚拢法子（FedALA）。如图 1 所示，FedALA 在每次要地训练之前，通过自顺应要地聚拢（ALA）模块将全部模型与要地模型进行聚拢的方式，拿获全部模型中的所需信息。由于 FedALA 相比于 FedAvg 仅应用 ALA 修改了每一轮迭代中的要地模型初始化进程，而没有改动其他 FL 进程，因此 ALA 可被直接应用于大多数现有的其他 FL 法子，以提升它们的个性化显露。

图 1：在第次迭代中客户机上的要地进修进程

2 法子

2.1 自顺应要地聚拢（ALA）

图 2：自顺应要地聚拢（ALA）进程

自顺应要地聚拢（ALA）进程如图 2 所示。相比于传统联邦进修中直接将下载的全部模型覆盖要地模型得到要地初始化模型的方式（即），FedALA 通过为每个参数进修要地聚拢权重，进行自顺应要地聚拢。

其中，作家把这一项称之为“更新”。此外，作家通过逐元素权重剪枝法子实现正则化并将中的值限制在 [0,1] 中。

因为深度神经搜集（DNN）的较低层搜集相比于较高层倾向于进修相对更通用的信息，而通用信息是各个要地模型所需信息，所以全部模型中较低层搜集中的大部分信息与要地模型中较低层搜集所需信息一致。为了降低进修要地聚拢权重所需的估计价值，作家引入一个超参数 p 来控制 ALA 的作用范围，使得全部模型中较低层搜集参数直接覆盖要地模型中的较低层搜集，而只在较高层启用 ALA。

其中，表示中的神经搜集层数（或神经搜集块数），与中的低层搜集形状一致，则与中剩下的 p 层高层搜集形状一致。

作家将中的值全部初始化为 1，且在每一轮要地初始化进程中基于旧的更新。为了进一步降低估计价值，作家采用随机采样 s

其中，是更新的进修率。作家在进修的进程中，将除之外的其他可训练参数冻结。

图 3：在 MNIST 和 Cifar10 数据集上 8 号客户机的进修曲线

通过选择较小的 p 值，在几乎不影响 FedALA 显露的情况下，大幅度地降低 ALA 中训练所需的参数。此外，如图 3，作家观察到：一旦在第一次训练将其训练到收敛，即使在后续迭代中训练，其对要地模型质量也没有很大影响。也就是说，每个客户机可以复用旧的实现对其所需信息的拿获。作家采取在后续迭代中微调的方式，降低估计价值。

2.2 ALA 分析

在不影响分析的情况下，为了简便起见，作家忽略并设。根据上述公式可以得到，其中代表。作家可以把在 ALA 中更新看成更新。

梯度项在每一轮中都做了逐元素地缩放。不同于要地模型训练（或 fine-tuning）法子，上述对的更新进程能够感知到全部模型中的通用信息。在不同的迭代轮数之间，动态变化的为 ALA 模块引入了动态信息，使其 FedALA 容易顺应复杂的环境。

3 实验

作家在实际（practical）数据异质环境下的 Tiny-ImageNet 数据集上用 ResNet-18 进行了对超参数 s 和 p 的对 FedALA 影响的研究，如表 1 所示。对于 s 来说，采用越多的随机采样的要地训练数据用于 ALA 模块进修可以使个性化模型显露更好，但也同时增加了估计价值。在应用 ALA 的进程中，可以根据每个客户机的估计能力调整 s 的大小。从表中可以得知，即使应用极小的 s（如 s=5），FedALA 依旧具有杰出的显露。对于 p 来说，不同的 p 值对个性化模型的显露几乎没有影响，在估计价值方面却有着巨大的差别。这一现象也从一个侧面展示了 FedRep 等法子，将模型分割后保留靠近输出的神经搜集层在客户机不上传的做法的有效性。应用 ALA 时，我们可以采用较小且合适的 p 值，在保证个性化模型显露能力的情况下，进一步降低估计价值。

表 1：关于超参数和对 FedALA 影响的研究

作家在病态（pathological）数据异质环境和实际（practical）数据异质环境下，将 FedALA 与 11 个 SOTA 法子进行了对比和详细分析。如表 2 所示，数据显示 FedALA 在这些情况下的显露都超越了这 11 个 SOTA 法子，其中 “TINY” 表示在 Tiny-ImageNet 上应用 4-layer CNN。例如，FedALA 在 TINY 情况下比最优基线（baseline）高了 3.27%。