买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：一种自动选择学生模型结构的图像识别知识蒸馏方法，涉及知识蒸馏领域。本发明是为了解决现有的图像识别知识蒸馏方法中学生模型结构固定且复杂以及灵活性差，导致了图像识别精度低的问题。本发明包括：将待预测图片数据集输入分类网络中获得图片类别；分类网络获得方式为：利用图片训练集训练深度卷积神经网络，获得训练好的深度卷积神经网络；建立包含多条可选路径的子模型空间：在深度卷积神经网络的每个阶段中，预设深度、卷积通道形式、卷积通道数都不同的“路径”；根据训练好的卷积神经网络与全局目标函数和分阶段目标函数对子模型空间自动选择获得分类网络。本发明用于深度学习模型的压缩。

主权项：1.一种自动选择学生模型结构的图像识别知识蒸馏方法，其特征在于所述方法具体过程为：获取待预测的图片数据集，将待预测的图片数据集输入到目标分类网络中获得待预测的图片数据的类别；步骤一、获取预测图片训练集，利用预测图片训练数据集训练深度卷积神经网络模型，获得训练好的深度卷积神经网络模型，作为教师模型；步骤二、对于学生模型建立包含多条可选路径的子模型空间：在深度卷积神经网络的每个阶段中，预设一些深度、卷积通道形式、卷积通道数都不同的“路径”，所有路径能够构成的所有模型即为子模型空间；步骤三、根据步骤一获得的教师模型与全局目标函数和分阶段目标函数对步骤二建立的学生模型进行自动选择，获得选择好的学生模型作为目标分类网络，包括以下步骤：步骤三一、对学生模型进行迭代训练，获取每轮迭代训练过程中子模型空间中每个阶段中每条路径输出的特征图谱，并计算每个阶段中每个路径输出的特征图谱与训练好的深度卷积神经网络输出的特征图谱的相似度；计算每个阶段中每个路径输出的特征图谱与训练好的深度卷积神经网络输出的特征图谱的相似度通过分阶段目标函数判别：Ls＝||Wss-Wts||2+λDs其中，Ls越小两个特征图谱相似度越大，Ls是目前阶段的目标函数，Wss是目前阶段学生模型输出的特征图谱，Wts是目前阶段教师模型输出的特征图谱，Ds是选定路径的参数量，λ是用来平衡损失函数中参数量和L2-norm的关系参数；步骤三二、训练步骤三一中输出的每个阶段中相似度最大值对应的路径，并将记录该条路径被选择数，经过多轮迭代更新根据路径的被选择数量依次删除被选择数最少的路径，每个阶段最后一条路径组成的网络即为最终学生模型；步骤三三、利用全局目标函数训练最终学生模型获得目标分类网络。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 一种自动选择学生模型结构的图像识别知识蒸馏方法