申请/专利权人：河南科技大学

申请日：2024-03-07

公开（公告）日：2024-06-21

公开（公告）号：CN118230270A

主分类号：G06V20/56

分类号：G06V20/56;G06V10/764;G06V10/774;G06N3/098

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明公开了一种车联网中基于簇头选择和知识蒸馏的对抗联邦学习方法，首先从车辆簇中选择簇头车辆，然后部署对抗联邦学习模型，将待学习的图像分类模型作为学生模型，在簇头车辆部署生成器和老师模型，在成员车辆部署判别器和学生模型，然后进行对抗联邦学习，学习过程中由生成器生成对抗样本并作为老师模型和学生模型的输入图像，在计算损失函数时考虑老师模型和学生模型对于对抗样本标签的预测概率，在对抗联邦学习完成后，将学生模型的参数进行聚合，用于更新图像分类模型的参数。本发明可以在防御梯度逆向攻击的同时提高联邦学习的聚合效率，提高聚合模型的分类精度。

主权项：1.一种车联网中基于簇头选择和知识蒸馏的对抗联邦学习方法，其特征在于，包括以下步骤：S1：对抗联邦学习服务器在车辆自组织网络中采用自主分簇组网构建车辆簇，然后在每个车辆簇中选择簇头车辆；S2：根据所要进行对抗联邦学习的图像分类模型设置一个老师模型和生成器G，将生成器G和老师模型部署在簇头车辆上；生成器G用于根据簇头车辆本地的真实样本生成对抗样本，对抗样本即作为知识蒸馏数据；然后将图像分类模型作为学生模型部署在车辆簇内其他成员车辆上，同时为各个学生模型配置一个判别器D，用于判别和区分对抗样本和真实样本；S3：采用如下方法进行对抗联邦学习：S3.1：令迭代次数g＝1；S3.2：簇头车辆采集Mt个真实样本xi,yi，xi表示第i个真实样本的输入图像，yi表示输入图像xi的标签yi，yi＝1,2,…,K，K表示类别数量，i＝1,2,…,Mt；然后将每个输入图像xi通过生成器G生成对抗样本的输入图像并设置输入图像的标签然后将对抗样本发送给对抗联邦学习服务器和车辆簇中其他成员车辆；S3.3：簇头车辆将真实样本和对抗样本输入老师模型，得到每个真实样本属于第k个类别的概率qi,k，以及每个对抗样本属于第k个类别的概率q^i,k，k＝1,2,…,K；然后采用如下公式计算老师模型中真实样本的交叉熵损失Lt： 其中，k＝1,2,…,K；簇头车辆将老师模型的交叉熵损失Lt以及每个对抗样本对应的概率发送至对抗联邦学习服务器；S3.4：车辆簇中各个成员车辆分别采集真实样本xn,m,yn,m，xn,m表示第n个成员车辆所采集的第m个真实样本的输入图像，yn,m表示输入图像xn,m的标签，m＝1,2,…,Ms,n，Ms,n表示车辆簇中第n个成员车辆所采集的输入学生模型的真实样本数量，n＝1,2,…,N-1；成员车辆将本地采集的真实样本和对抗样本输入其学生模型，得到每个真实样本属于第k个类别的概率pn,m,k和每个对抗样本属于第k个类别的概率车辆簇中每个成员车辆采用如下公式计算学生模型中真实样本交叉熵损失Ls,n： 其中，yn,m表示第n个成员车辆所采集的第m个真实样本的标签；成员车辆将本地采集的真实样本和对抗样本输入判别器D，得到是否为真实样本的判别结果，然后计算生成损失和判别损失每个学生模型所在的成员车辆将其交叉熵损失Ls,n、生成损失判别损失和每个对抗样本对应第k个类别的概率发送至对抗联邦学习服务器；S3.5：计算学生模型和老师模型对对抗样本预测的交叉熵损失函数LA： 计算学生模型与老师模型对对抗样本预测的KL散度损失LKL： 其中，表示第n个成员车辆上学生模型与老师模型对对抗样本预测结果的KL散度，其计算公式为： 采用如下公式计算老师模型的损失函数LOSSt： 其中，λ是超参数系数；采用如下公式计算生成器G的生成损失LOSSG： 采用如下公式计算学生模型的共享损失函数LOSSs： 采用如下公式计算判别器的共享判别损失LOSSD： S3.6：对抗联邦学习服务器根据老师模型的损失函数LOSSt计算得到梯度Δt，根据生成器G的生成损失LOSSG计算得到梯度ΔG，根据学生模型的共享损失函数LOSSs计算得到学生模型的共享梯度Δs，根据判别器的共享判别损失LOSSD计算得到判别器D的共享梯度ΔD；对抗联邦学习服务器将梯度Δt和梯度ΔG发送给簇头车辆，簇头车辆上的老师模型根据梯度Δt更新参数，生成器G根据梯度ΔG更新参数；对抗联邦学习服务器将共享梯度Δs和共享梯度ΔD发送给车辆簇中每个成员车辆，成员车辆上的学生模型根据共享梯度Δs更新参数，判别器D根据共享梯度ΔD更新参数；S3.7：判断是否迭代次数g＜G，G表示预设的最大迭代次数，如果是，对抗联邦学习结束，否则进入步骤S3.8；S3.8：令g＝g+1，返回步骤S3.2；S4：各成员车辆将其上学生模型的参数发送至对抗联邦学习服务器，对抗联邦学习服务器对N-1个学生模型进行参数进行聚合，用最终得到的参数更新图像分类模型的参数。

全文数据：

权利要求：

百度查询： 河南科技大学 车联网中基于簇头选择和知识蒸馏的对抗联邦学习方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD