申请/专利权人：云南大学

申请日：2024-04-03

公开（公告）日：2024-06-21

公开（公告）号：CN118228799A

主分类号：G06N3/082

分类号：G06N3/082;G06N3/0464;G06N3/084;G06V10/82;G06V10/764

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明公开了一种基于软剪枝的图像分类模型压缩方法，首先获取图像训练样本并对图像分类模型进行初始化，在软剪枝训练阶段的每一轮次训练中，计算得到当前轮次的置零率，当前轮次的每个批次训练完成后，根据置零率得到每层网络参数的更新参数数量，然后选择梯度绝对值最大的参数进行更新，其余参数不更新，每轮次训练结束后，根据置零率将绝对值最小的部分参数置零，在训练达到给定的剪枝轮次时根据预设的剪枝率对图像分类模型进行剪枝，后续则采用常规训练方式进行训练。本发明能够在网络模型训练过程中动态地调整图像分类模型的结构，在保证分类准确率的前提下实现对图像分类模型的有效压缩。

主权项：1.一种基于软剪枝的图像分类模型压缩方法，其特征在于，包括以下步骤：S1：根据图像分类模型的实际应用场景获取对应的训练样本集，每个训练样本包括图像样本和对应的标签；S2：对待压缩的图像分类模型进行参数初始化，记其参数为W＝{Wi:1≤i≤L}，L+1表示图像分类模型的层数，表示第i层的参数矩阵，Bi-1、Bi分别表示第i-1层、第i层的神经元数量，第0层表示输入层；S3：令训练轮次t＝1；S4：执行第t轮软剪枝训练，具体步骤包括：S4.1：采用如下公式计算当前训练轮次的置零率d： 其中，D表示预设的最终剪枝率，T表示预设的软剪枝训练轮次最大值，表示以训练轮次t为变量的单调递增函数，且S4.2：将训练样本集划分为K个训练批次；S4.3：令训练批次序号k＝1；S4.4：将当前训练批次中的图像样本输入当前图像分类模型，根据标签和图像分类结果计算得到损失函数J，然后计算得到每层参数的梯度矩阵记每个参数的梯度为p＝1,2,…,Bi-1，q＝1,2,…,Bi；S4.5：对于每层的网络参数，根据当前轮次的置零率d计算出该层所要更新的参数个数Ni： 其中，||||0表示求取0范数；S4.6：对于每层的网络参数，将参数按照梯度绝对值从大到小进行排列，选择前Ni个参数作为该层在本轮次更新的参数，其梯度保持不变，将其余参数的梯度置为0；S4.7：根据当前的梯度对所有网络参数进行更新；S4.8：判断是否k＜K，如果是，进入步骤S4.9，否则进入步骤S4.10；S4.9：令k＝k+1，返回步骤S4.4；S4.10：将图像分类模型当前的所有参数按照其绝对值从大到小进行排列，将最后d×N个参数置为0，N表示图像分类模型中所有参数数量；S5：判断是否t≤T，如果是，进入步骤S6，否则进入步骤S7；S6：令t＝t+1，返回步骤S4；S7：根据当前图像分类模型中为0的参数对图像分类模型进行剪枝；S8：令t＝t+1；S9：判断是否t＜tmax，tmax表示网络总训练轮次，如果是，进入步骤S10，否则图像分类模型压缩结束；S10：将训练样本集划分为K个训练批次，然后依次将每个训练批次中的图像样本输入当前图像分类模型，根据标签和图像分类结果计算得到损失函数J，对当前图像分类模型进行参数更新；返回步骤S8。

全文数据：

权利要求：

百度查询： 云南大学 基于软剪枝的图像分类模型压缩方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD