买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京大学(天津滨海)新一代信息技术研究院

摘要：本公开涉及深度学习技术领域，具体提供了面向Android的深度学习模型统一部署系统、方法、介质及设备，其中，所述系统包括：监控统计模块，用于完成对整个系统执行的监控统计以及日志读写；抽象适配模块，用于提供深度学习推断过程所需要的解释器、模型和或数据源；服务模块，用于对Android应用程序提供统一的编程接口。本公开设计并实现了一个移动深度学习任务的统一部署框架，集成了5种主流的移动深度学习框架，为深度学习推断任务设立软件抽象，屏蔽底层框架的接口异构性，对上层应用程序提供统一编程接口。该框架可用于移动应用开发者快速实现跨框架、跨硬件后端的深度学习任务部署，也可用于框架开发厂商构建模型准确率基准测试、框架性能基准测试等。

主权项：1.一种面向Android的深度学习模型统一部署系统，其特征在于，包括：监控统计模块，用于完成对整个系统执行的监控统计以及日志读写；抽象适配模块，用于提供深度学习推断过程所需要的解释器、模型和或数据源；所述抽象适配模块具体包括：第一子模块，用于为不同的底层深度学习框架适配一个对应的具体解释器单例；第二子模块，用于为不同的模型文件，创建模型实例，并初始化所述模型实例的相关元数据；第三子模块，用于为不同类型的数据输入，适配一个具体的数据源实例；服务模块，用于对Android应用程序提供统一的编程接口；所述统一部署系统包括：Engine：管理推断所需要的组件，包括数据源、解释器和模型，对上层应用程序提供注册数据源、注册解释器、注册模型、构建任务和执行任务的接口；DataSource：推断任务的数据输入抽象，对外提供本数据源的元数据和数据的迭代器，另外其子类LabeledDataSource表明输入数据具有标签，可供验证准确率；Model:推断任务的模型元数据，可供解释器在任务执行时加载模型文件、调用模型进行计算；Interpreter：推断任务的解释器，是各个底层推断框架实现的抽象，对外提供设置模型，设置硬件配置，执行推断任务，释放底层框架资源；Metrics：推断任务的监控统计模块，接受并存储各个部分写入的统计数据，包括异常、资源使用率、吞吐率、模型准确率，可供开发者之后进行数据分析；Task：对执行整个推断任务执行流程的抽象，分别用onPreExecute，execute，onProgressUpdate，onPostExecute来表示任务执行前的准备流程，任务执行流程，任务状态更新，任务执行后的处理流程，其中execute的具体执行依赖于具体的解释器，即调用解释器的相关接口进行实现；IProgressListener：为一个接口，是对上层应用程序的抽象；应用程序应在构造Task时注册该接口的具体实现，以便接收推断任务执行的进度更新信息。

全文数据：

权利要求：

百度查询： 北京大学(天津滨海)新一代信息技术研究院 面向Android的深度学习模型统一部署系统、方法、设备及介质