买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学

摘要：一种基于记忆重放和差分隐私的联邦持续学习训练方法，其步骤为：中央服务器对生成对抗网络进行训练，生成一组伪图像组成伪样本集，将伪样本集与联邦学习全局网络下发给每个客户端，客户端使用记忆重放方法将下发的伪样本集与本地样本集混合训练，将训练好的联邦学习全局网络与添加差分隐私噪声的本地样本集异步地上传至中央服务器，中央服务器对上传的本地网络参数进行加权聚合并更新联邦学习全局网络，当没有新任务到达时结束训练。本发明的方法在不加重客户端计算负担的前提下，降低了客户端对旧任务知识的遗忘，保护了客户端的隐私，提高了联邦学习全局模型的训练效率。

主权项：1.一种基于记忆重放和差分隐私的联邦持续学习训练方法，其特征在于，使用记忆重放方法训练联邦学习全局网络，对选取的本地图像添加本地差分隐私噪声；该训练方法的具体步骤包括如下：步骤1，生成客户端本地样本集：步骤1.1，选取至少55000张图像组成样本集，该样本集中至少包括五个种类，将每个类至少包含11000张图像样本组成任务样本集；步骤1.2，从每个任务样本集中各随机抽取至少1400张图像组成一个客户端的本地样本集；步骤1.3，采用与步骤1.2相同的方法，得到至少10个客户端的本地样本集，设置每个客户端的任务样本集按先后顺序到达，当新任务样本集到达时旧任务的样本集立即被丢弃；步骤2，生成服务器中生成对抗网络的训练集：从第一个任务样本集中选取至少100张图像组成训练集，该训练集中至少包括一个种类；将所有图像标注为正样本；步骤3，构建联邦学习全局网络：在服务器中搭建一个七层的卷积神经网络作为联邦学习全局网络，其结构依次为：第一卷积层，第一池化层，第二卷积层，第二池化层，第三卷积层，第一全连接层，第二全连接层，将第一至第三卷积层的维度分别设置为28*28，13*13，5*5，卷积核的大小均设置为3*3，第一、第二池化层的池化窗口尺寸均设置为2*2，第一、第二全连接层的维度分别设置为64，10；步骤4，构建生成对抗网络：步骤4.1，生成对抗网络中的生成网络由编码器、卷积长短期记忆网络LSTM、解码器组成，卷积长短期记忆网络LSTM是一个五层的反卷积神经网络，其结构依次为：第一反卷积层，第二反卷积层，第三反卷积层，池化层，归一化层；将第一至第三反卷积层的维度分别设置为5*5，13*13，28*28，卷积核的大小均设置为3*3；将池化层的池化窗口尺寸设置为2*2；将归一化层的维度设置为10；步骤4.2，生成对抗网络中的判别网络是一个五层的卷积神经网络，其结构依次为：第一卷积层，第二卷积层，第三卷积层，池化层，归一化层，将第一至第三卷积层的维度分别设置为28*28，13*13，5*5，卷积核的大小均设置为3*3，卷积核的大小均设置为3*3，池化层的池化窗口尺寸设置为2*2，归一化层的维度设置为10；步骤5，对生成对抗网络进行训练：步骤5.1，将一个随机生成的100维高斯噪声向量输入到生成对抗网络中，将输出的图像作为伪图像，并将该伪图像标注为负样本；步骤5.2,从训练集中随机选取一张图像，将所选图像与伪图像输入到生成对抗网络中进行非线性映射，输出每个样本对应的各自的正、负预测标签与特征向量；步骤5.3，利用梯度下降方法，用损失函数迭代更新生成对抗网络的参数，判断损失函数是否收敛，若收敛，则执行步骤5.4，否则，执行步骤5.1；步骤5.4，将一组随机生成的100维高斯噪声向量输入训练好的生成对抗网络中，通过生成网络，对高斯噪声向量和类别标签向量进行非线性映射，输出一组生成的伪图像，将该组伪图像作为伪样本集；步骤6，使用记忆重放方法训练联邦学习全局网络：步骤6.1,从所有客户端中随机选取最多5个客户端，作为参与本轮训练联邦学习全局网络的客户端；同时将构建的联邦学习全局网络和伪样本集下发给每个参加本轮训练的客户端；步骤6.2,按每个任务的重要性比率组合部分伪样本集与部分本地样本集，得到混合后的本地样本集；步骤6.3,参与本轮训练的所有客户端使用混合后的本地样本集，利用本地随机梯度下降法，迭代更新网络参数，直到联邦学习全局网络训练的总损失函数收敛为止，得到训练好的联邦学习全局网络，该联邦学习全局网络保持了对旧任务的预测能力，将训练好的联邦学习全局网络参数异步地上传给服务器；步骤7，对选取的本地图像添加本地差分隐私噪声：在当前本地任务样本集中随机选取最少100个图像样本，在所选的每个图像中添加隐私预算ε≥0的符合拉普拉斯分布的本地差分隐私噪声，将得到的添加噪声后的样本图像异步地上传给服务器，作为下一个任务到达时生成对抗网络的训练集；步骤8，对所有联邦学习全局网络参数加权聚合：利用如下聚合公式，服务器将接收到的训练好的联邦学习全局网络参数进行加权聚合，得到聚合后的联邦学习全局网络参数： 其中，wg表示聚合后的联邦学习全局网络参数，∑表示求和操作，K表示参与本轮训练联邦学习全局网络的客户端总数，nk表示参与本轮训练联邦学习全局网络的客户端中第k个客户端的样本集的个数，N表示训练集中样本的总数，wk表示第k个客户端训练好的联邦学习全局网络的参数；步骤9，判断是否有下一个任务到达，若是，则更新下一个任务的重要性比率，返回步骤5，否则，执行步骤10；步骤10，联邦持续学习训练结束。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于记忆重放和差分隐私的联邦持续学习训练方法