买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明提供了一种抵御中毒梯度攻击的分层联邦学习方法及装置。分层联邦学习方法分为两个大部分：分层联邦学习的实现以及防御方法布局；将防御方法结合分层通讯融入联邦学习中，使得联邦学习对于中毒梯度攻击的抗性更加强的同时保留了分层联邦学习的优势。在多层次联邦学习领域，目前并没有针对中毒攻击的防御方法，也没有提出针对中毒攻击的多层次联邦学习模型。本方法的能够有效的针对中毒攻击进行防御，能够很好的保护用户的隐私问题，同时在一定情况下还能减少训练带宽。

主权项：1.一种抵御中毒梯度攻击的分层联邦学习方法，其特征在于，分为两个大部分：分层联邦学习的实现以及防御方法布局；分层联邦学习的实现具体分为Client层、Edge层和Server层：所述的Client层：该层为用户层，主要是用户使用的终端设备、移动设备、服务器或者其他计算资源，统一称为Client，这些Client复杂多样，在参与分层联邦学习的过程中，考虑到需要维护用户的隐私问题，每个Client存储的数据不允许离开Client的存储单元；该层的每个Client会使用结构相同的训练模型进行自训练，在训练结束后Client会把训练的数据上传到Edge层，将这些数据称为grads，即深度学习中的梯度；所述的Edge层：负责对Clien层提供的grads进行聚合，将聚合结果作为更新内容返回Client层，并在迭代一定轮次后，将结果上传到Server层，迭代的次数根据分层联邦学习方法实际应用情况确定；所述的Server层：负责更新以及存储全局模型，全局模型的结构与所有部署在Client上的训练模型一致，将Edge层上传的grads进行聚合，并将其更新到全局模型中，最后将更新全局模型传播给Edge层，并由Edge层传播给每个Client；对于防御布局，从上述三个分层的角度分别部署：针对Client层：在Client层布置恶意度检测机制，不同的Client之间参与训练过程的数据是相似但不相同的，受到攻击的Client的提供给Edge的grads，和占大部分的未受到攻击的Client之间会有较大的差异；计算所有grads之间的欧几里得距离，对所有距离使用K-means聚类方法，将所有距离划分为两组，其中距离较远的那一组所对应的Client即是可能受到攻击的Client，在该轮训练中剔除这些可能被攻击的Client，并且对它们进行标记，如果在之后的训练过程中，这部分Client多次被标记为可能受到攻击的情况，则将这些Client剔除出整个训练过程，在减少受到攻击可能的情况下，减少训练的带宽，本方法将该恶意度检测机制称为detector；针对Edge层：在Edge层将Client提供上传的grads按维度进行划分，在每个维度都对各个Client之间进行欧式距离的计算，对距离使用K-means聚类并将其分为两组，剔除距离较大那一组所对应的部分，对剩余部分按不同Client参与训练的数据量进行加权求平均值；在所有维度都求完平均值后，将这些grads按划分的维度拼接成与Client上传数据相同的格式；将该种处理grads的方法称为mean法；最后，将通过mean法处理完的grads统一传回各个Client用以更新模型，进行下一步训练；在特定的轮次中也需要将处理完的grads上传给Server层用以更新全局模型，并将Server层传播的模型参数传播给Client层；针对Server层：Server层在收到Edge上传的grads后，对grads的处理方式同Edge层，使用mean法对grads进行按维度划分，并且剔除有可能被攻击的内容后加权求平均，最后在所有维度都求完平均值后，将这些grads按划分的维度拼接成与Edge上传数据相同的格式；再将拼接后的grads用于在Server层更新全局模型，并将更新后的全局模型传播给Edge层。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种抵御中毒梯度攻击的分层联邦学习方法及装置