买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：同济大学

摘要：本发明提供一种神经网络剪枝方法、介质及电子设备。所述神经网络剪枝方法包括：对目标神经网络进行预训练，获得预训练神经网络；对所述目标神经网络每层的剪枝率进行初始化以获得候选网络结构，所述候选网络结构的数量至少为三个；采用进化算法搜索所述候选网络结构，获得最优候选网络结构，另外，在所述进化算法的搜索过程中，各所述候选网络结构均继承所述预训练神经网络的部分参数；对所述最优候选网络结构进行剪枝，获得剪枝模型。该方法能够快速获得一系列不同压缩程度的剪枝网络并且实现至少两个剪枝指标之间的平衡，减少剪枝所需要的计算资源和时间成本。

主权项：1.一种神经网络剪枝方法，其特征在于，所述神经网络剪枝方法包括：对目标神经网络进行预训练，获得预训练神经网络，所述目标神经网络应用于图像处理领域；对所述目标神经网络每层的剪枝率进行初始化以获得候选网络结构，所述候选网络结构的数量至少为三个；采用进化算法搜索所述候选网络结构，获得最优候选网络结构，其中，所述进化算法的目标函数为关于至少两个性能指标的函数，且所述最优候选网络结构为一个或一个以上的所述候选网络结构，另外，在所述进化算法的搜索过程中，各所述候选网络结构均继承所述预训练神经网络的部分参数，所述性能指标包括：模型计算量、模型参数量、运行内存、前向推理时间和或模型精度，所述前向推理时间指的是神经网络部署到某个具体硬件上，输入一张测试图片到模型中，输出结果所需要的时间，所述运行内存指的是神经网络模型在预测某组图片过程中占用内存的大小；对所述最优候选网络结构进行剪枝，获得剪枝模型；在采用进化算法搜索所述候选网络结构之前，所述神经网络剪枝方法还包括：对所述候选网络结构进行正则化训练，以获取稀疏化的候选网络结构；采用进化算法搜索所述候选网络结构，获得最优候选网络结构的实现方法包括：基于所述候选网络结构获取所述进化算法的初始种群，其中，所述初始种群的个体与所述候选网络结构一一对应；根据所述预训练神经网络的参数获取所述候选网络结构的参数；通过前向传播算法处理训练数据集，以调节所述候选网络结构的归一化层的统计参数；根据所述目标函数并通过变异、交叉和选择操作获取所述进化算法的非支配解集；根据所述非支配解集中的个体获取所述最优候选网络结构；所述归一化层的统计参数包括均值和方差；所述初始种群中的每个个体均对应一个列表，所述列表的每个元素为所述候选网络结构中每层所需剪枝的卷积核通道数。

全文数据：

权利要求：

百度查询： 同济大学 神经网络剪枝方法、介质及电子设备