优文推荐 | 自适应裁剪的差分隐私联邦学习框架

      联邦学习有效缓解了数据孤岛问题，但其训练过程需要参与者与服务器之间进行大量的参数交互，仍存在隐私泄露风险。为加强联邦学习数据传输过程中的安全性，提出了一种基于自适应裁剪的差分隐私联邦学习框架。在该框架中，每个通信轮次选取部分参与者共同训练模型，各参与者使用自己的数据在本地执行多次迭代，在每个迭代中自适应地选取裁剪阈值执行梯度裁剪；仅向上传的模型参数中添加动态的高斯噪声，以掩藏各参与者的贡献；服务器聚合加噪后的参数，从而更新全局模型。

1.主要贡献

(1)提出了一种自适应梯度裁剪阈值方法，根据训练进度对裁剪阈值进行自适应调整，将梯度限制在一个合理范围内，避免了因裁剪阈值设置不合理导致模型无法收敛。

(4)所提框架相比其它算法，能够在强隐私约束下，实现更高的模型精度。

2.研究结论

      从理论上分析了所提框架能够实现的隐私保障，通过在Fashion-MNIST和CIFAR10数据集上的实验结果表明，该算法在为数据的隐私和安全提供强大隐私保证的同时，提升了模型性能，也使模型的训练过程更加稳定。另外，从理论上分析了本地执行梯度下降的次数和本地训练批次大小对模型性能的影响，并通过实验加以验证。

3.论文资助

国家自然科学基金(基金编号：61572170)

河北省自然科学基金(基金编号：2021205004)

河北省教育厅重点基金(基金编号：ZD2021062)

王方伟：男，河北故城人，博士, 河北师范大学教授，硕士生导师，河北省“三三三人才工程”第三层次，河北省高等学校百名优秀创新人才。主要研究方向为恶意软件的检测与防御，对抗攻击、隐私保护等，已在国际知名期刊和会议发表学术论文40余篇。

谢美云：女，河北沧县人，硕士研究生，主要研究方向为隐私保护。

李青茹：女，河北唐县人，博士，河北师范大学副教授，硕士生导师。主要研究方向为恶意软件的检测与分类，对抗攻击、隐私保护等，已在国际知名期刊和会议发表学术论文30余篇。

王长广：男，河北邢台人，博士，河北师范大学教授，硕士生导师。主要研究方向为无线网络安全；车联网隐私保护；恶意代码的检测与分类，已在国际知名期刊和会议发表学术论文40余篇。

王方伟, 谢美云, 李青茹, 等. 自适应裁剪的差分隐私联邦学习框架[J]. 西安电子科技大学学报, 2023,50(4):111-120. DOI：10.19665/j.issn1001-2400.2023.04.011.

  推荐阅读：

 xuebao@mail.xidian.edu.cn