网站建站及维护,男女做某事网站,dede网站制作,网站的文案联邦蒸馏中的分布式知识一致性 | TIST 2024
联邦学习是一种隐私保护的分布式机器学习范式#xff0c;服务器可以在不汇集客户端私有数据的前提下联合训练机器学习模型。通信约束和系统异构是联邦学习面临的两大严峻挑战。为同时解决上述两个问题#xff0c;联邦蒸馏技术被提…联邦蒸馏中的分布式知识一致性 | TIST 2024
联邦学习是一种隐私保护的分布式机器学习范式服务器可以在不汇集客户端私有数据的前提下联合训练机器学习模型。通信约束和系统异构是联邦学习面临的两大严峻挑战。为同时解决上述两个问题联邦蒸馏技术被提出它在服务器和客户端之间交换知识(模型输出)既支持异构客户端模型又降低了通信开销。 本文探究了免代理数据集联邦蒸馏方法中的知识不一致性问题即由于客户端模型异构的特性会导致本地知识置信度之间存在显著差异服务器学习到的表征因此存在偏差进而降低整个联邦学习系统的性能。
为解决知识不一致带来的准确率下降问题本文从一个新角度出发:在异构客户端之间实现分布式的知识一致性。论文提出了一种基于分布式知识一致性的无代理数据联邦蒸馏算法FedDKC它通过精心设计的知识精化策略将本地知识差异缩小到可接受的上界以减轻知识不一致的负面影响。具体来说论文从峰值概率和香农熵两个角度设计了基于核和基于搜索的两种策略理论上保证优化后的本地知识可满足近似的置信度分布并被视为一致的。在服务器端蒸馏时基于一致的本地知识全局模型可以稳定地朝正确的方向收敛从而帮助客户端提升模型精度。
论文在多个公开数据集上开展了实验结果表明相比基准算法FedDKC显著提高了模型异构的设置下准确率并明显提升了收敛速度。 论文链接https://arxiv.org/abs/2204.07028
