买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明提供一种隐私保护的多层级异构纵向联邦学习方法，采用两级数据分布：对于数据在地域上分散且各区域内部不同的实体各自拥有本地样本集合的不同特征，本发明允许在这样的环境中进行有效的模型训练。采用模型异构性处理：对于区域之间因标签分布和模型架构不同而导致的数据集异构性，本发明通过特定机制进行协同训练。使得异构区域下拥有不同数据特征的参与方在不分享本地数据的前提下协作训练神经网络模型，进一步采用差分隐私技术进行隐私增强。与传统的纵向联邦学习技术相比，本发明解决了多层级异构客户端难以在隐私保护的前提下进行建模的问题，其准确率和其他纵向联邦学习方法相比有了很大提升。

主权项：1.一种隐私保护的多层级异构纵向联邦学习方法，其特征在于，包括：1纵向联邦学习模型构建步骤：各客户端在不同的区域拥有各自的训练数据集；在每个区域i中，各客户端拥有数据集DiCl，i＝{m}，Cl表示客户端编号，m为区域总数；各客户端在每个的区域有一个对应的底层模型，每个区域在云服务器中有一个对应的顶层模型，顶层模型由表征层和决策层组成，每个区域的全部的底层模型与顶层模型组成纵向联邦学习模型2初始化步骤：云服务器首先初始化全局原型集合类别序号j＝{n}；n为顶层模型能够输出的分类结果的总类别数，设置训练轮数T；之后，进入训练步骤开始对每个区域i的云服务器的顶层模型和客户端的底层模型的并行训练并更新全局原型：3训练步骤：3-1前向传播：各客户端Cl在其本地底层模型输入DiCl获得客户端Cl粉碎数据siCl并上传到云服务器；云服务器根据接收到的区域i内所有客户端的粉碎数据si＝{siCl}，利用si计算顶层模型中表征层hi的输出ai＝hisi；云服务器计算区域i的第j个类原型其中Di,j是来自数据集Di的样本与属于第j类的样本的交集，||表示取集合中的元素数量；x表示纵向联邦学习模型的输入，y表示真实分类结果；云服务器计算顶层模型中决策层oi输出前向传播完成；3-2反向传播：云服务器使用和计算损失是任何监督任务的损失，为纵向联邦学习模型输出的分类结果，d表示求和的距离，λ表示正则化项的超参数，是区域i中的全局原型；云服务器根据损失计算并更新纵向联邦学习模型下顶层模型的梯度，将该梯度发送给客户端A；客户端A使用接收到的梯度更新本地底层模型，完成本地反向传播。云服务器使用新的更新全局原型 其中表示类别j的区域集，表示属于所有区域中类别j的样本数量。3-3判断训练轮次是否达到T，如是，纵向联邦学习模型训练完成，否则，返回步骤3-1。

全文数据：

权利要求：

百度查询： 电子科技大学 一种隐私保护的多层级异构纵向联邦学习方法