思辨｜异构设备上联邦学习的样本选择和速度控制

本文是对发表于MobiSys 2022的论文《FedBalancer: Data and Pace Control for Efficient Federated Learning on Heterogeneous Clients》的解读。联邦学习(Federated Learning, FL)在不暴露个人数据的前提下分布式地在客户端上训练机器学习模型。与基于精心组织的数据进行集中式训练不同，FL处理的通常是未经过滤且不平衡的设备上数据。因此，对所有数据一视同仁的传统FL训练方式会导致计算资源的浪费、减慢学习过程。为了解决这个问题，本文提出FedBalancer框架，可以主动选择客户端上的训练样本，来平衡不同客户端之间的负载。在考虑到隐私和客户端计算资源的前提下，优先选择包含更大信息量的样本。为了更好地利用样本选择来加速全局训练，进一步引入了一种自适应期限调控技术，它可以根据不同的客户端训练数据预测每一轮的最佳期限。与现有的FL期限配置算法相比，在来自3个领域的5个数据集上的评估表明，FedBalancer将达到给定准确率的时间缩短了1.20~4.48倍，同时将模型准确率提高了1.1%~5.0%。此外，FedBalancer与3种正交的FL算法联合操作时都能提高收敛速度和准确率，这表明FedBalancer能够较为容易地迁移到其他FL算法中。

联

邦学习（Federated Learning, FL）中的关键目标之一是优化time-to-accuracy，即模型达到给定准确率的时间。然而，在实际的FL场景中，数据异构性成为优化time-to-accuracy的主要挑战。虽然重要性采样（importance sampling）等数据工程技术在集中式学习中被广泛使用以优化训练过程，但由于它们需要共享隐私数据，在FL中直接应用是不可行的。出于这个原因，现有的FL算法大多平等地对待每个数据，这可能导致计算资源浪费和收敛缓慢。我们进行了一项初步研究，发现随着FL进程，信息丰富的样本比例从93.2%降低到20%。考虑到硬件异构性，这种现象可能会进一步加剧，因为低端设备可能因为训练大量不重要的样本而无法发送模型更新。

为了解决这个问题，本文提出带样本选择的FL框架FedBalancer。FedBalancer优先选择信息量更丰富的客户端样本，以高效利用客户端的计算能力。它允许低端设备通过专注于更小但更重要的训练样本，以在训练轮次截止时间内为全局训练做出贡献。为了提高time-to-accuracy性能，样本选择被设计为无需额外的正向传播或反向传播即可直接在FL轮次内进行样本效用度量。此外，FedBalancer可以与正交的FL方法共存和协作，以进一步提高性能。

如图1，FedBalancer的主要功能是主动控制每轮FL的损失阈值（lt）和截止期限（ddl）。损失阈值用于确定每个客户端的训练数据，截止期限用于确定轮次终止时间。服务器首先将第R轮的模型权重w_R、损失阈值〖lt〗_R、截止日期〖ddl〗_R传输给该轮所选的客户端（步骤1）。客户端的样本选择模块根据接收到的损失阈值选择部分训练数据（步骤 2）并训练接收的模型（步骤 3）。客户端传输模型更新和从样本选择和模型训练过程中收集的元数据（步骤 4），服务器聚合来自所有客户端的响应内容（步骤 5）。根据来自客户端的元数据，服务器的损失阈值选择模块和截止期限选择模块分别选择下一轮的损失阈值〖lt〗_(R+1)和截止期限〖ddl〗_(R+1)（步骤 6 和 7）。

为了实现FedBalancer，我们解决了以下挑战：（1）简单地使用随机采样来减少客户端的训练数据可能会导致模型准确性降低，因此FedBalancer会根据其统计效用度量来选择样本。（2）收集样本级统计效用可能会破坏FL的隐私保障，FedBalancer会利用客户端-服务器协调来维护损失阈值，允许客户端在仅暴露其数据的差分隐私统计信息的前提下有效选择重要的样本。（3）由于计算是FL的主要性能瓶颈，FedBalancer的样本选择可能极大地改变客户端的轮次完成时间，因此，当FL轮次期限固定不变时，样本选择本身可能不会直接提高time-to-accuracy性能。为了形式化选择不同截止期限的好处，本文提出deadline efficiency (DDL-E)指标，用于计算每次完成轮次的客户端数量。同时，FedBanlancer可以基于每轮FL异构设备上的样本选择状态，动态预测最佳截止期限。

如图2，本文对来自3个领域的5个包含真实用户的数据集进行了实验，实验结果表明，与现有采用截止期限配置方法的FL聚合算法相比，FedBalancer将time-to-accuracy性能提高了1.20∼4.48倍。FedBalancer在不牺牲模型准确率的情况下实现了这种改进，事实上它将准确率提高了1.1%∼5.0%。此外，本文在3种正交 的FL算法基础上实现了FedBalancer，表明FedBalancer容易移植到其他FL方法上，并提高time-to-accuracy性能。