申请/专利权人：杭州海康威视数字技术股份有限公司

申请日：2020-10-14

公开（公告）日：2024-06-21

公开（公告）号：CN112101529B

主分类号：G06N5/04

分类号：G06N5/04;G06N3/0464;G06N3/06

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2021.01.05#实质审查的生效;2020.12.18#公开

摘要：本发明公开了一种用于神经网络模型推理跨平台的部署方法及架构，本发明实施例提供的部署方法中，首先对数据进行统一处理；然后基于所加载的神经网络模型，确定神经网络模型推理，将统一处理后的数据输入到所述神经网络模型推理中；再次，根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；最后，输出得到神经网络模型推理的解析结果。因此，本发明实施例在平台部署神经网络模型推理时，对神经网络模型推理进行了算子碎片化处理，而并不是直接将完整的神经网络模型推理进行部署，由于针对不同平台的神经网络模型推理中的相同算子可以被灵活使用，甚至是复用，所以实现了跨异构平台部署神经网络模型推理。

主权项：1.一种用于神经网络模型推理跨平台的部署方法，其特征在于，所述平台为不同异构平台所属芯片支持的平台，所述方法包括：获取神经网络模型推理，进行编译，部署到一平台上，其中，所述编译环境包括跨平台的编译环境及所述平台加载的异构平台所属芯片的硬件环境，依赖所述跨平台的编译环境实现跨平台的所述神经网络模型推理的编译，所述平台加载的异构平台所属芯片的硬件环境实现所述神经网络模型及所述神经网络模型封装接口的编译；所述平台加载的异构平台所属芯片封装统一处理的神经网络模型；其中，异构平台所属芯片对神经网络模型推理进行编译包括：获得多平台的获取神经网络模型推理；将多平台的获取神经网络模型推理进行编译，生成可执行文件；获得多平台的神经网络模型及模型封装接口；将多平台的神经网络模型及模型封装接口封装到异构平台所属芯片上，将生成的可执行文件加载到异构平台所属芯片上；对数据进行统一处理；基于所加载的神经网络模型，确定神经网络模型推理，将统一处理后的数据输入到所述神经网络模型推理中；根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；输出得到神经网络模型推理的解析结果；所述根据神经网络模型推理，调用神经网络模型推理中的适用于平台的对应算子包括：识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子；针对每一个待处理算子，访问设置的算子库，通过公共接口从所述算子库中调用待处理算子对应的，适用于平台的算子执行，实现任务中的主要功能部分后，在平台的应用层完成任务中的简单功能部分；在所述访问设置的算子库，通过公共接口从所述算子库中调用待处理算子对应的，适用于平台的算子执行之前，还包括：对于不同平台的神经网络模型推理，需要至少一个算子中大部分是各个平台通用的，小部分是各个平台不通用的，将各个平台通用的作为平台通用子算子，将各个平台不通用的作为平台适配算子；获取待处理算子对应的，适用于平台的算子中的平台通用子算子；设置待处理算子对应的，适用于平台的算子中的平台适配子算子；将所获取的平台通用子算子与平台适配子算子结合，形成待处理算子对应的，适用于平台的算子；将待处理算子对应的，适用于平台的算子存储到设置的算子库中。

全文数据：

权利要求：

百度查询： 杭州海康威视数字技术股份有限公司 一种用于神经网络模型推理跨平台的部署方法及架构

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD