恭喜中国科学技术大学张昱获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜中国科学技术大学申请的专利面向部分参数为常量的深度学习模型的编译优化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119336334B 。
龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411326066.X,技术领域涉及:G06F8/41;该发明授权面向部分参数为常量的深度学习模型的编译优化方法是由张昱;刘硕设计研发完成,并于2024-09-23向国家知识产权局提交的专利申请。
本面向部分参数为常量的深度学习模型的编译优化方法在说明书摘要公布了:本发明涉及深度学习技术领域,公开了一种面向部分参数为常量的深度学习模型的编译优化方法;本发明解决了传统编译技术中难以充分利用张量形状API信息进行常量优化的问题。通过外部类型推断和常量化替换,本发明能够准确识别和优化常量参数,优化后的tiling参数被嵌入到核函数中,解决了运行时不必要的计算开销问题,最终达到了提升核函数执行效率的效果。本发明通过常量传播、死代码删除和公共子表达式优化等优化步骤,有效减少了冗余计算和无用代码,解决了核函数执行效率低下的问题,最终达到了加速深度学习模型推理过程的效果。
本发明授权面向部分参数为常量的深度学习模型的编译优化方法在权利要求书中公布了:1.一种面向部分参数为常量的深度学习模型的编译优化方法,其特征在于,包括:Host侧代码分析与常量化替换,具体包括:外部类型推断:在深度学习模型的Host侧代码中,输入张量的形状通过张量形状API查询得到;通过外部类型推断技术,推断每个张量形状API的调用点是否返回常量值;对推断返回常量值的张量形状API的调用点进行常量化替换,即直接使用常量值代替张量形状API的返回值;常量传播与优化:在常量化替换完成后,对Host侧代码进行常量传播、死代码删除以及公共子表达式优化;优化后的Host侧代码中,会生成确定的常量Tiling参数及对应的取值,将常量Tiling参数及对应的取值保存在Device侧的核函数中;Device侧代码的常量优化,具体包括:核函数优化:在Device侧代码编译过程中,利用从Host侧传递的常量Tiling参数以及对应的取值,对核函数进行编译优化操作,包括常量传播、死代码删除、公共子表达式优化;优化后的核函数执行:经过优化后的Device侧代码被编译为二进制包,运行时调用优化后的Device侧代码中的核函数,实现深度学习模型编译效率的提升。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学技术大学,其通讯地址为:230026 安徽省合肥市包河区金寨路96号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。