买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜国网江苏省电力有限公司镇江供电分公司申请的专利一种基于轻量多出口网络的模型压缩与推断加速方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115600675B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211194881.6，技术领域涉及：G06N5/022；该发明授权一种基于轻量多出口网络的模型压缩与推断加速方法是由左帆;王晨晖;龚一平;邓媛;吴旭;张楠;许亚林设计研发完成，并于2022-09-26向国家知识产权局提交的专利申请。

本一种基于轻量多出口网络的模型压缩与推断加速方法在说明书摘要公布了：本发明公开了一种基于轻量多出口网络的模型压缩与推断加速方法，包括以下步骤：1：在用户给定的数据集上训练基于变换器的预训练语言模型，得到教师模型并初始化学生模型；2：构建轻量模型的体积需求，并根据模型体积需求设置词嵌入矩阵中间维度、自注意力头数、前馈网络中间维度；3：使用综合静态压缩与动态加速的联合优化方法训练目标轻量多出口网络模型；4：在推断前根据实际需要设定或改变轻量多出口网络模型的置信度阈值，实现可变程度的加速。本发明设计了一种宽度压缩的多出口模型以优化时间和空间效率，大幅降低存储计算开销，减小压缩后的多出口模型因各层不一致导致的性能下降，弥补了静态压缩和动态加速的结合导致模型性能大幅降低的问题。

本发明授权一种基于轻量多出口网络的模型压缩与推断加速方法在权利要求书中公布了：1.一种基于轻量多出口网络的模型压缩与推断加速方法，包括以下步骤：步骤1：使用现有的精调方法在用户给定的电网应用数据中的文本数据集上训练基于变换器的预训练语言模型，得到教师模型，并用教师模型初始化学生模型，学生模型即轻量多出口网络模型；步骤2：根据教师模型参数量P′和轻量多出口网络模型的预期参数量P，设置词嵌入矩阵中间维度自注意力头数前馈网络中间维度其中为向下取整运算符，教师模型的词嵌入矩阵中间维度、自注意力头数、前馈网络中间维度分别为E′，A′，F′；步骤3：使用综合静态压缩与动态加速的联合优化方法训练目标轻量多出口网络模型；步骤4：在推断前根据实际需要设定或改变轻量多出口网络模型的置信度阈值，实现可变程度的加速；其特征在于，步骤2中，词嵌入矩阵中间维度E、自注意力头数A、前馈网络中间维度F的设置需满足以下约束：约束条件1：词嵌入矩阵中间维度E需为正整数，且小于精调的预训练语言模型的词嵌入矩阵维度E′，即0EE′,E∈N*，其中N*为正整数集；约束条件2：自注意力头数A需为正整数，且小于精调的预训练语言模型的自注意力头数A′，即0AA′,A∈N*，其中N*为正整数集；约束条件3：前馈网络中间维度F需为正整数，且小于精调的预训练语言模型的前馈网络中间维度F′，即0FF′,F∈N*，其中N*为正整数集；且前馈网络中间维度F的设置满足F＝A×hs×θ其中，hs为每个自注意力头的维度，设置为64；θ为比例因子，设置为2。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国网江苏省电力有限公司镇江供电分公司，其通讯地址为：212001 江苏省镇江市电力路182号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。