申请/专利权人：庆阳瑞华能源有限公司

申请日：2021-09-08

公开（公告）日：2024-06-28

公开（公告）号：CN113743514B

主分类号：G06V10/774

分类号：G06V10/774;G06V10/82;G06N3/0464;G06N3/047;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2021.12.21#实质审查的生效;2021.12.03#公开

摘要：本发明属于深度学习技术领域，具体涉及一种基于知识蒸馏的目标检测方法及目标检测终端，所述方法包括以下步骤：获取图像数据；将图像数据输入训练好的目标检测模型；目标检测模型输出检测结果；其中，所述的目标检测模型经过以下步骤训练得到：构建初始的教师网络，对教师网络进行压缩得到学生网络；通过注意力加权的特征蒸馏方式利用训练好的教师网络对学生网络进行知识蒸馏，得到蒸馏后的学生网络；对蒸馏后的学生网络进行训练与测试，得到最终的目标检测模型。本发明通过对网络的压缩、蒸馏优化和训练得到目标检测模型，蒸馏优化能够在不引入额外参数和推理运算量的情况下有效提升目标检测模型性能，提高了目标检测的准确度。

主权项：1.一种基于知识蒸馏的目标检测方法，其特征在于，包括以下步骤：获取图像数据；将图像数据输入训练好的目标检测模型；目标检测模型输出检测结果；其中，所述的目标检测模型经过以下步骤训练得到：构建初始的教师网络，对教师网络进行压缩得到学生网络；通过注意力加权的特征蒸馏方式利用训练好的教师网络对学生网络进行知识蒸馏，得到蒸馏后的学生网络；对蒸馏后的学生网络进行训练与测试，得到最终的目标检测模型；所述通过注意力加权的特征蒸馏方式利用训练好的教师网络对学生网络进行知识蒸馏，具体为：通过注意力权重矩阵为蒸馏损失函数附上权重，得到优化后的蒸馏损失函数；通过优化后的蒸馏损失函数对学生网络进行知识蒸馏；所述通过注意力权重矩阵为蒸馏损失函数附上权重，得到优化后的蒸馏损失函数，具体为：对教师网络和学生网络的特征进行处理，得到蒸馏对象；根据教师网络输出的特征计算注意力权重矩阵；根据KL散度、蒸馏对象和注意力权重矩阵计算蒸馏损失函数；所述对教师网络和学生网络的特征进行处理，得到蒸馏对象，具体为：通过Softmax函数将教师网络和学生网络的特征沿着空间维度进行归一化计算处理，得到需进行蒸馏的蒸馏对象；normXc＝SoftmaxXc，c＝1，2，...，C；其中，c为变量，表示作用于特征的第c个通道；C为常量，指X的通道数；X表示网络输出的张量；Xc表示取X的第c个通道得到的张量；normXc是蒸馏对象；所述根据教师网络输出的特征计算注意力权重矩阵，具体为：将图片输入训练好的教师网络，对图片中用于蒸馏的几层特征，通过在每个像素点处沿着通道计算平方均值的方式，生成教师网络的注意力图； 其中，H表示为注意力图的高度，W为注意力图的宽度；i为变量，用来遍历所有空间位置；根据注意力图计算注意力权重矩阵； 其中，T表示蒸馏过程中的温度参数；w表示空间注意力权重矩阵；所述根据KL散度、蒸馏对象和注意力权重矩阵计算蒸馏损失函数，具体计算公式如下： 其中，表示蒸馏损失函数。

全文数据：

权利要求：

百度查询： 庆阳瑞华能源有限公司 一种基于知识蒸馏的目标检测方法及目标检测终端

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD