国内刊号:11-2560/TP
国际刊号:1000-9825
发布日期:
作者:刘建春,梁文艺,徐宏力,马千飘,黄刘生
单位:刘建春,中国科学技术大学 计算机科学与技术学院, 安徽 合肥 230026;中国科学技术大学苏州高等研究院, 江苏 苏州 21500411,梁文艺,中国科学技术大学 计算机科学与技术学院, 安徽 合肥 230026;中国科学技术大学苏州高等研究院, 江苏 苏州 21500402,徐宏力,中国科学技术大学 计算机科学与技术学院, 安徽 合肥 230026;中国科学技术大学苏州高等研究院, 江苏 苏州 21500403,马千飘,南京理工大学 计算机科学与工程学院, 江苏 南京 21009404,黄刘生,中国科学技术大学 计算机科学与技术学院, 安徽 合肥 230026;中国科学技术大学苏州高等研究院, 江苏 苏州 21500405
关键词:边缘计算;联邦学习;数据异构;资源有限
基金:国家自然科学基金 (62132019); 江苏省自然科学基金 (BK20230275); 安徽省自然科学基金 (2408085QF185)
联邦学习 (federated learning, FL)是一种分布式模型训练框架, 允许多个客户端在边缘计算(edge computing, EC)环境中协同训练全局模型, 同时保护客户端的本地数据隐私. 然而, 在边缘网络中进行联邦学习训练时, 常常面临资源受限和数据异构(或称非独立同分布数据)的问题, 这会导致模型训练性能显著下降. 为了应对这些挑战, 提出了一种高效的联邦学习框架——FedAlt, 以提升边缘网络中模型训练的性能 (如测试精度)和减少资源开销. FedAlt 在经典联邦学习算法FedAvg 的基础上引入了块级多输出和知识自蒸馏技术, 使客户端在本地训练时能够更有效地吸收模型表征层信息, 从而缓解非独立同分布数据对模型训练的负面影响. 具体而言, 将模型划分为多个连续的模型块, 服务器在每个全局训练轮次开始时仅向客户端发送前部分的全局模型块, 从而减少通信开销. 然后, 客户端将全局模型和本地模型进行组合, 并利用知识自蒸馏技术吸收模型表征层的信息, 以应对数据异构带来的挑战. 此外, 考虑到通信开销随传输的模型块数量增加而增加, 分别在服务器和客户端设计了自适应算法, 即服务器分发模型块算法和客户端块级多输出正则化算法, 根据客户端的数据分布、计算能力和通信能力来动态地调整服务器分发的模型块数量. 大量实验结果表明, 与现有方法相比, FedAlt 在有限的通信带宽条件下, 可以提升约 2.64%的平均测试精度.
来源:2026年第3期
《软件学报》期刊编辑部