买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜厦门大学申请的专利用于N:M稀疏微调的自适应蒸馏方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117172293B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311122615.7，技术领域涉及：G06N3/0495；该发明授权用于N:M稀疏微调的自适应蒸馏方法是由纪荣嵘;林志航;张玉鑫;晁飞设计研发完成，并于2023-09-01向国家知识产权局提交的专利申请。

本用于N:M稀疏微调的自适应蒸馏方法在说明书摘要公布了：用于N:M稀疏微调的自适应蒸馏方法，涉及人工神经网络的压缩与加速。包括以下几个步骤：1使用基于权重大小的N:M剪枝方案剪枝预训练模型。2利用自适应知识蒸馏将预训练模型中的知识迁移到N:M稀疏模型中，其中自适应知识蒸馏可以根据学生模型特征图和教师模型特征图中激活值的差异，自动将学生特征图中差异较大的激活值替换成教师特征图中的激活值，来减少学生模型学习的难度，加快学生模型微调的收敛速度。可以通过使用提出的自适应知识蒸馏方法来加快预训练模型的N:M稀疏微调，并且降低由N:M稀疏带来的精度损失。

本发明授权用于N:M稀疏微调的自适应蒸馏方法在权利要求书中公布了：1.用于N:M稀疏微调的自适应蒸馏方法，其特征在于包括以下步骤：1使用基于权重大小的N:M剪枝方案剪枝预训练模型；2利用自适应知识蒸馏将预训练模型中的知识迁移到N:M稀疏模型中，其中自适应知识蒸馏根据学生模型特征图和教师模型特征图中激活值的差异，自动将学生特征图中差异较大的激活值替换成教师特征图中的激活值，以减少学生模型学习的难度，加快学生模型微调的收敛速度；所述自适应知识蒸馏的具体步骤包括：1分别将同一个批次的图片输入教师模型和学生模型，分别得到教师模型和学生模型逻辑预测pt和ps，以及教师模型和学生模型倒数第二层的特征图Ft和Fs；2根据Ft和Fs的差异，计算出掩码M；3使用掩码得到合成后的学生特征图，具体公式如下：Fm＝M⊙Ft+1–M⊙Fs其中，Fm为替换操作后的学生特征图，M∈{0,1}B×N×H×W是自适应的掩码，当M值为1时表示讲学生特征图的激活值替换成教师特征图中对应位置的激活值，当M值为0时表示不替换；掩码M是自适应生成的，其主要依据教师特征图和学生特征图的差异ΔF,其计算公式如下：ΔF＝|Ft-Fs|通过替换学生特征图中与教师特征图中差异较大的激活值来减少特征蒸馏的难度，自适应掩码M的生成公式如下： 其中，b,n,h,w遍历B,N,H,W；k表示激活值替换的数量，由下述公式计算得到： 其中，是向下取整操作，Cos·,·是余弦相似度计算函数；k与Ft和Fs之间的距离成比例，当两个特征图之间的距离很大时，说明特征图中有很多差异很大的激活值，因此需要更大的k来保证学生模型的稳定训练；相反，当特征图中的距离减少时，较小的k有助于学生模型从教师特征图中提取知识；结合公式中的基于逻辑输出的知识蒸馏，以及自适应的特征蒸馏，其中，ps和pt分别是学生模型和教师模型的逻辑输出，σ·是归一化指数函数，T是蒸馏的温度，是Kullback-Leibler散度用于匹配学生模型和教师模型逻辑输出的分布；最后使用如下的损失函数来微调学生模型： 其中，计算两个特征图的均方误差，α和β是平衡两项损失的超参数；4计算pt和ps的Kullback-Leibler散度，以及Ft和Fs之间的平均误差MSE；利用这两项的和作为学生模型梯度反向传播的损失，指导学生模型的微调。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361005 福建省厦门市思明区思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。