龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
摘要：本发明公开了一种知识蒸馏方法和系统，方法包括：获取教师模型在训练集样本上的输出作为软标记训练集；设计学生模型架构和学生模型与教师模型的层对应关系；将训练集或软标记训练集划分为超批次，进行基于主成分分析的第一轮白盒知识蒸馏；进行基于软标记训练集的第二轮黑盒知识蒸馏；测试学生模型性能。本发明利用主成分分析将隐含层大小和架构不同的教师模型和学生模型相互对应，以完成白盒知识蒸馏的方法，使白盒知识蒸馏能被应用在更多学生模型上，便于进一步提高压缩比。本发明蒸馏方法相对白盒知识蒸馏和黑盒知识蒸馏均具有更好的性能。
主权项：1.一种知识蒸馏方法，其特征在于，所述方法以下步骤：获取教师模型在训练集样本上的输出，替换训练集样本上原有的标记，得到软标记训练集；构建学生模型的层数和架构，设置所述学生模型与所述教师模型之间的层对应关系；将训练集或软标记训练集划分为若干超批次，每个超批次进一步划分为若干批次；对所述学生模型进行第一轮白盒知识蒸馏，第一轮白盒知识蒸馏过程中针对所述训练集中各超批次样本，对所述教师模型各隐藏层输出结果进行主成分分析，基于批次样本与超批次的对应关系，遍历所述学生模型与所述教师模型的层对应关系，基于所述层对应关系计算所述学生模型在各批次样本上的损失函数，基于所述损失函数的计算结果对所述学生模型参数进行优化，并在优化后使用原始验证集测试所述学生模型的性能；对所述学生模型进行基于所述软标记训练集的第二轮黑盒知识蒸馏，利用所述学生模型的输出结果和所述软标记训练集计算所述学生模型在各批次样本上的损失函数，基于所述损失函数的计算结果对所述学生模型参数进行优化，并在优化后使用原始验证集测试所述学生模型的性能。
全文数据：
权利要求：
百度查询： 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 知识蒸馏方法和系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号