信通院&清华提出FedRE：用「纠缠」解决联邦学习三难困境 | CVPR 26

在联邦学习中，如何同时优化模型性能、保护数据隐私并降低通信开销是一个重要挑战。尤其是在模型异构场景下，不同客户端可能使用不同的模型架构（如卷积神经网络和Transformer），这进一步增加了优化难度。

为此，中国信通院泰尔英福公司与清华大学等机构联合提出了一种基于表征纠缠的联邦学习框架（Federated Representation Entanglement，简称FedRE）。该框架能够在保证模型性能的同时，有效保护隐私并减少通信开销，适用于模型异构和同构两种场景。

动机：破解性能、隐私与通信的权衡难题

在模型异构场景中，各客户端采用不同架构的表征提取器，但分类器保持一致，因此无法直接聚合模型参数。传统方法如FedAllRep通过上传所有样本表征训练全局分类器，虽性能较好，但通信成本高且易受隐私攻击。另一种方法FedGH通过上传类别原型降低了通信开销和隐私风险，但可能导致决策边界过于尖锐，影响模型性能。

为克服这些局限，FedRE引入“纠缠表征”作为新的知识表示方式。具体而言，客户端通过随机加权将本地不同类别的表征融合为一个纠缠表征，并生成对应的纠缠标签编码。服务器仅需接收这一纠缠表征及其标签编码即可训练全局分类器。由于纠缠标签包含跨类别的监督信号，且每轮通信重新采样权重，全局分类器能够学习到更平滑的决策边界，从而提升性能。

方法：FedRE的工作流程

FedRE框架分为三个步骤：
1. 各客户端利用本地数据完成局部模型更新；
2. 客户端聚合本地表征生成纠缠表征及标签编码，并上传至服务器；
3. 服务器利用纠缠表征训练全局分类器，并将更新后的模型下发给客户端，进入下一轮迭代。

实验：性能、隐私与通信开销评估

实验结果表明，FedRE在模型异构场景下性能优于现有方法（如FedGH）。隐私保护方面，纠缠表征通过多类别信息融合显著降低了表征逆向攻击的风险，重建样本几乎不可辨识。通信开销方面，FedRE在上传阶段仅需传输一个纠缠表征，成本最低，广播阶段的开销也与主流方法相当。

总结与展望

在数据要素流通与隐私保护日益重要的背景下，FedRE为联邦学习提供了一种兼顾性能、隐私和通信效率的解决方案，为数据安全流通开辟了新路径。

论文链接：https://arxiv.org/pdf/2511.22265
代码仓库：https://github.com/AIResearch-Group/FedRE