首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

知识蒸馏方法和系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:华为技术有限公司

摘要:本申请涉及一种人工智能领域通过知识蒸馏训练神经网络的方法。所述方法包括:根据训练数据训练至少一个教师机器学习模型;将训练数据输入已训练教师机器学习模型从而获得已训练教师机器学习模型的输出结果;和根据损失函数调整学生机器学习模型的参数,从而使得所述学生机器学习模型针对所述训练数据的输出结果与所述已训练教师机器学习模型的输出结果的差值小于预设阈值。所述损失函数包括第一部分和第二部分,所述损失函数的第一部分根据所述已训练教师机器学习模型的输出结果确定,所述损失函数的第二部分根据所述已训练教师机器学习模型所包括的中间层生成的中间层输出特征确定。

主权项:1.一种通过知识蒸馏训练神经网络的方法,其特征在于,所述方法包括:根据训练数据,训练至少一个教师机器学习模型从而获得已训练教师机器学习模型;其中,所述训练数据为图像数据、文本数据以及语音数据中的任一种;将所述训练数据输入所述已训练教师机器学习模型从而获得所述已训练教师机器学习模型的输出结果,其中,所述已训练教师机器学习模型所包括的中间层在所述已训练教师机器学习模型的输出结果的生成过程中生成对应的中间层输出特征;和根据损失函数调整学生机器学习模型的参数,从而使得所述学生机器学习模型针对所述训练数据的输出结果与所述已训练教师机器学习模型的输出结果的差值小于预设阈值,其中,所述损失函数包括第一部分和第二部分,所述损失函数的第一部分根据所述已训练教师机器学习模型的输出结果确定,所述损失函数的第二部分根据所述已训练教师机器学习模型所包括的中间层生成的中间层输出特征确定。

全文数据:

权利要求:

百度查询: 华为技术有限公司 知识蒸馏方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术