恭喜浙江工商大学;浙大城市学院韩嵩获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浙江工商大学;浙大城市学院申请的专利一种基于双重动态稀疏训练的物联网联邦学习方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119180352B 。
龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411689935.5,技术领域涉及:G06N20/00;该发明授权一种基于双重动态稀疏训练的物联网联邦学习方法和系统是由韩嵩;韩跃宇;任思琪;王硕苹;赵帅;李贤君;畅龙涛;赵金宇;王梦果设计研发完成,并于2024-11-25向国家知识产权局提交的专利申请。
本一种基于双重动态稀疏训练的物联网联邦学习方法和系统在说明书摘要公布了:本发明公开了一种基于双重动态稀疏训练的物联网联邦学习方法和系统。本发明面向物联网场景,采用动态稀疏训练,且仅使用本地数据对模型进行训练,可以达到低通信开销和个性化。然后只将模型参数传输到服务器上进行聚合,并提出了一种个性化聚合方法,来保证模型在上传参数之后能保留模型的个性化不丢失。通过传输轻量稀疏模型,有效解决物联网场景下设备资源不均,通信开销过大等问题,并且提出个性化聚合,对不同设备上的稀疏模型进行聚合,提高性能。
本发明授权一种基于双重动态稀疏训练的物联网联邦学习方法和系统在权利要求书中公布了:1.一种基于双重动态稀疏训练的物联网联邦学习方法,其特征在于该方法包括以下步骤:S1、系统参数初始化:服务器随机初始化全局模型,并将全局模型发送给各物联网设备,即客户端;S2、客户端剪枝:客户端收到全局模型后,根据自己的计算资源预算对全局模型进行一次性剪枝,得到适合本地设备计算资源的稀疏模型;S3、客户端本地训练及上传:客户端根据本地数据进行本地稀疏模型训练及动态稀疏训练,之后将本地稀疏模型参数上传到服务器上进行聚合;S4、服务器聚合:服务器在接收到客户端的本地稀疏模型参数后,根据客户端的本地稀疏模型参数进行个性化加权聚合算法更新;S5、服务器动态稀疏训练:服务器在聚合得到全局模型之后,如果是全局调整轮次,则对全局模型进行全局的动态稀疏训练;再将得到的全局稀疏模型下发给各个客户端;S6、重复进行步骤S1~S5,直到达到预定的通信轮次;在步骤S2中,客户端在收到全局模型后,根据本地的数据分布对所述全局模型进行剪枝,使全局模型架构与本地的数据分布吻合,剪枝的具体过程为:将一个批次的数据送入全局模型进行计算,得到每个全局模型参数对应的梯度;计算每个全局模型参数的剪枝分数,保留剪枝分数最高的若干个参数组成的稀疏模型;在步骤S3中,客户端根据本地数据进行动态稀疏训练,之后将本地稀疏模型参数上传到服务器,具体包括:S31、客户端在本地训练结束后,根据稀疏模型的稀疏度目标对本地模型进行剪枝,移除若干个参数直到达到稀疏度目标;S32、客户端根据瞬时梯度重要性分数对本地稀疏模型进行增长参数,选择若干个参数进行更新;在步骤S4中,所述个性化加权聚合算法更新具体为:服务器在接收到每个客户端的本地稀疏模型及对应掩码后,根据掩码判断上传的所有客户端本地稀疏模型中的参数是不是唯一重叠的;如果是唯一重叠的,则会对其进行加权聚合更新;如果不是唯一重叠的,便将其舍弃,不进行更新;服务器在聚合完毕后获得一个仅包含公共部分参数的全局模型;在步骤S5中,服务器对全局模型进行动态稀疏训练具体包括:S51、服务器根据全局模型上每一层的参数大小进行剪枝,选取部分参数丢弃;S52、在接收到客户端传来的梯度更新后,服务器对其进行聚合得到梯度总度量,根据梯度总度量对全局稀疏模型进行重增长,选取部分梯度进行更新。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江工商大学;浙大城市学院,其通讯地址为:310018 浙江省杭州市下沙高教园区学正街18号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。