申请/专利权人：苏州元脑智能科技有限公司

申请日：2023-12-26

公开（公告）日：2024-04-23

公开（公告）号：CN117474070B

主分类号：G06N3/082

分类号：G06N3/082;G06N3/0464;G06V40/16;G06V10/774;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2024.02.20#实质审查的生效;2024.01.30#公开

摘要：本发明涉及机器学习技术领域，公开了模型剪枝方法、人脸识别模型训练方法及人脸识别方法。本发明提供了一种模型剪枝方法，包括：获取图像样本集；按照预设的第一训练周期次数，通过图像样本集训练预置的神经网络模型，且在每一轮训练周期结束后，按照预设剪枝率，对神经网络模型中的目标卷积层在当前训练周期下的初始权重参数进行剪枝处理，得到中间权重参数，并基于中间权重参数确定下一训练周期的初始权重参数；若当前训练周期为最后一轮训练周期，则将当前训练周期下的中间权重参数作为目标卷积层的目标权重参数，得到目标模型。能够动态的对目标卷积层进行剪枝处理，从而提高模型的泛化能力和鲁棒性。

主权项：1.一种模型剪枝方法，其特征在于，所述方法包括：获取图像样本集；按照预设的第一训练周期次数，通过所述图像样本集训练预置的神经网络模型，且在每一轮训练周期结束后，按照预设剪枝率，对所述神经网络模型中的目标卷积层在当前训练周期下的初始权重参数进行剪枝处理，得到中间权重参数，并基于所述中间权重参数确定下一训练周期的初始权重参数，以及将被剪枝的卷积核对应的当前权重设置为零，所述目标卷积层由多个卷积核构成，所述多个卷积核的当前权重组成所述目标卷积层的初始权重参数；若当前训练周期为最后一轮训练周期，则将当前训练周期下的中间权重参数作为所述目标卷积层的目标权重参数，得到目标模型；其中，所述预设剪枝率包括与通道维度对应的第一剪枝率和与空间维度对应的第二剪枝率以及第三剪枝率，所述按照预设剪枝率，对所述神经网络模型中的目标卷积层在当前训练周期下的初始权重参数进行剪枝处理，得到中间权重参数，包括：所述多个卷积核按照对应当前权重的数值进行划分，得到多个卷积核集；照所述预设剪枝率，分别对每一个卷积核集内的多个卷积核进行剪枝处理，得到多个剪枝结果，包括：针对当前卷积核集，将所述多个卷积核按照对应的通道维度进行划分，得到多个第一卷积核子集，不同第一卷积核子集对应不同的通道维度；基于所述第一卷积核子集中多个第一卷积核的当前权重，按照所述第一剪枝率，对所述第一卷积核子集进行剪枝处理，得到第一子剪枝结果；将所述多个卷积核按照对应的空间位置维度进行划分，得到多个第二卷积核子集，不同第二卷积核子集对应不同的空间位置维度；基于所述第二卷积核子集中多个第二卷积核的当前权重，按照所述第二剪枝率，对所述第二卷积核子集进行剪枝处理，得到第二子剪枝结果；基于多个所述第一子剪枝结果和多个所述第二子剪枝结果的整合结果，得到所述当前卷积核集的剪枝结果；基于所述多个剪枝结果，确定所述目标卷积层的中间权重参数；所述基于所述第一卷积核子集中多个第一卷积核的当前权重，按照所述第一剪枝率，对所述第一卷积核子集进行剪枝处理，得到第一子剪枝结果，包括：统计所述第一卷积核子集中第一候选卷积核的第一数量，所述第一候选卷积核为当前权重的绝对值大于预设阈值的第一卷积核；基于所述第一数量和所述第一剪枝率，确定所述第一数量的第一候选卷积核中待权重保留的第一保留数量，包括：根据所述第一剪枝率，确定所述当前通道维度下第一权重保留率；将所述第一权重保留率与所述第一数量之间乘积结果向下取整，得到所述第一保留数量；从所述第一数量的第一候选卷积核中确定所述第一保留数量的第一目标卷积核，得到当前通道维度下的第一子剪枝结果；所述基于所述第二卷积核子集中多个第二卷积核的当前权重，按照所述第二剪枝率，对所述第二卷积核子集进行剪枝处理，得到第二子剪枝结果，包括：统计所述第二卷积核子集中第二候选卷积核的第二数量，所述第二候选卷积核为当前权重的绝对值大于所述预设阈值的第二卷积核；基于所述第二数量和所述第二剪枝率，确定所述第二数量的候选卷积核中待权重保留的第二保留数量，包括：将第二权重保留率与所述第二数量之间乘积结果向下取整，得到所述第二保留数量，所述第二权重保留率为1与所述第二剪枝率的差值；从所述第二数量的候选卷积核中确定所述第二保留数量的第二目标卷积核；通过第一掩码标记所述第二目标卷积核，并通过第二掩码标记所述第二卷积核子集中的其他第二卷积核；响应所有第二卷积核均标记完成，得到当前空间位置维度下的第二子剪枝结果；在得到所述当前卷积核集的剪枝结果之前，还包括：统计所述当前卷积核集中第三候选卷积核的第三数量，所述第三候选卷积核为当前权重的绝对值大于预设阈值的卷积核；基于所述第三数量和所述第三剪枝率，确定所述第三数量的候选卷积核中待保留权重的第三保留数量；从所述第三数量的候选卷积核中确定所述第三保留数量的第三目标卷积核；通过所述第一掩码标记所述第三目标卷积核，并通过所述第二掩码标记所述当前卷积核集中的其他第三卷积核；响应所有第三卷积核均标记完成，得到所述当前卷积核集的第三子剪枝结果，所述第三子剪枝结果用于结合所述整合结果，得到所述当前卷积核集的剪枝结果。

全文数据：

权利要求：

百度查询： 苏州元脑智能科技有限公司 模型剪枝方法、人脸识别模型训练方法及人脸识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD