申请/专利权人：南京理工大学

申请日：2024-01-12

公开（公告）日：2024-06-25

公开（公告）号：CN117893807B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/82;G06N3/0464;G06N3/0455;G06N3/042;G06N3/0895;G06N3/098

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.05.03#实质审查的生效;2024.04.16#公开

摘要：本发明公开了基于知识蒸馏的联邦自监督对比学习图像分类系统及方法，属于深度学习和计算机技术领域，具体为：中央服务器随机初始化全局模型，并下发给每个客户端，客户端动态更新本地模型；随机选取参与本次聚合的客户端，接收全局模型参数，根据发散感知方法动态更新本地模型参数，使用本地图像数据集基于SimCLR算法进行自监督对比学习并利用知识蒸馏学习全局模型的结构知识，然后客户端将参数上传至中央服务器；中央服务器针对接收到的模型参数，根据客户端数据量基于FedAvg算法进行加权平均，得到聚合后的全局模型，并下发给每个客户端；重复执行直到每个客户端得到一个收敛的全局模型，用于完成图像分类。本发明安全性好、效率高、准确性好。

主权项：1.一种基于知识蒸馏的联邦自监督对比学习图像分类系统，其特征在于：包括初始化模块、客户端选择模块、基于知识蒸馏的自监督对比学习模块、全局模型聚合模块、模型下发模块，其中：初始化模块，通过中央服务器随机初始化全局模型，并下发给每个客户端；客户端选择模块，用于随机选取参与本次聚合的客户端；基于知识蒸馏的自监督对比学习模块，通过被选中的各客户端，接收由初始化模块下发的全局模型参数，利用发散感知技术DAU动态更新参数，并作为本地模型的初始化参数，具体表达式为：其中，是第t轮聚合好的全局参数，是客户端i第t-1轮本地训练完的参数，μ是对和求KL散度得到的值，然后使用本地图像数据集基于SimCLR算法进行自监督对比学习，同时利用知识蒸馏学习全局模型的结构知识，完成本地训练后客户端将共享层参数上传至中央服务器；同时利用知识蒸馏学习全局模型的结构知识，具体为：利用一部分公开数据集DP进行知识，学习全局模型的结构知识，损失函数为： 其中知识蒸馏包含两部分：基于角度的损失和基于距离的距离损失两部分；t1,t2,…,tn是公开数据集经过全局模型的输出，s1,s2,…,sn是公开数据集经过本地模型的输出；表示输出之间的距离关系，w是归一化因子；v1,v2,…,vn泛指全局模型或本地模型的输出，x表示全局模型的输出直接计算得到的关系势，y表示本地模型的输出计算得到的关系势；使用本地图像数据集基于SimCLR算法进行自监督对比学习，同时利用知识蒸馏学习全局模型的结构知识，具体为：在第t个通信轮次，客户端i动态更新全局模型后，基于本地数据进行本地模型的训练： 其中，和是损失函数，是梯度算子，η是优化器的学习步长，是客户端i第t轮训练的初始化参数，是知识蒸馏的系数； 其中，σ2t是第t轮计算的客户端局部损失的方差，γ是一个可配置的参数；全局模型聚合模块，通过中央服务器针对接收到的模型参数，根据客户端数据量基于FedAvg算法进行加权平均，得到聚合后的全局模型；模型下发模块，通过中央服务器将聚合后的全局模型下发给每个客户端；重复执行客户端选择模块、基于知识蒸馏的自监督对比学习模块、全局模型聚合模块、模型下发模块，直到得到一个收敛的全局模型，用于完成图像分类。

全文数据：

权利要求：

百度查询： 南京理工大学 基于知识蒸馏的联邦自监督对比学习图像分类系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD