首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于衰减噪声扰动的自适应保隐私分布式学习方法及装置 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心)

摘要:本发明属于分布式机器学习的技术领域,具体涉及一种基于衰减噪声扰动的自适应保隐私分布式学习方法及装置。所述方法包括:根据节点裁剪后的样本梯度获取其本地梯度,节点的裁剪阈值随迭代轮次的增加而减小;对本地梯度注入高斯噪声,高斯噪声的强度随迭代轮次的增加成阶梯式衰减;聚合节点在每轮迭代中注入高斯噪声后的本地梯度,并利用聚合后的梯度更新本地模型参数,将更新后的本地模型参数广播给相邻节点进行参数更新;再聚合相邻节点更新后的模型参数,用于下一次迭代。本发明通过添加噪声以有效保护数据隐私,同时减小噪声误差保证数据的准确性。

主权项:1.一种基于衰减噪声扰动的自适应保隐私分布式学习方法,应用于分布式的分布式学习系统,所述分布式学习系统包含自节点及其相邻节点,且每个节点均具有一个用于图像分类识别任务的本地数据集;其特征在于,所述方法包括:S1、基于本地数据集获取自节点于当前迭代轮次中的样本梯度,并利用当前迭代轮次的裁剪阈值对所述样本梯度进行裁剪,使用裁剪后的样本梯度计算初始本地梯度,其中,所述裁剪阈值在迭代过程中基于设定的时间间隔成阶梯式衰减;S2、对所述自节点的初始本地梯度注入高斯噪声,得到中间本地梯度,其中,所注入高斯噪声的强度通过噪声强度系数调节,且在迭代过程中所注入高斯噪声的强度基于设定的时间间隔成阶梯式衰减;S3、利用自适应聚合历史梯度方法聚合自节点于当前迭代轮次中的中间本地梯度以及历史迭代轮次中的目标本地梯度,得到自节点于当前迭代轮次中目标本地梯度;S4、基于噪声强度系数计算当前迭代轮次中的学习率,并利用聚合得到的目标本地梯度更新自节点的本地模型参数,再将更新后的本地模型参数传递给相邻节点进行模型参数更新;S5、自节点接收其相邻节点更新后的模型参数并进行聚合,以得到下一迭代轮次的本地模型参数。

全文数据:

权利要求:

百度查询: 齐鲁工业大学(山东省科学院) 山东省计算中心(国家超级计算济南中心) 基于衰减噪声扰动的自适应保隐私分布式学习方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。