一种多模态数据处理的安全联邦学习方法

本申请提供了一种多模态数据处理的安全联邦学习方法，涉及联邦学习技术领域，包括：在边缘节点和服务器之间建立通信连接，边缘节点部署有本地神经网络模型，服务器用于聚合各边缘节点的特征信息；边缘节点在本地训练后，提取样本的特征图并计算特征分布，将包含特征分布信息的数据上传至服务器；服务器基于特征分布信息，计算全局特征分布并检测多模态结构，生成分布偏移信息；根据分布偏移信息和边缘节点的一致性得分，采用防御性聚合策略对特征分布信息进行加权或筛选，生成更新后的全局特征模型；对于检测到多模态结构的类别，服务器划分子类原型并反馈至边缘节点，边缘节点根据子类原型调整本地训练策略。