首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

推理框架的调用方法和调用装置 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:建信金融科技有限责任公司

摘要:本申请提供了一种推理框架的调用方法和调用装置,可以用于人工智能技术领域,有利于降低人工智能推理模型的应用难度,减少用户使用人工智能推理模型的时间,提高人工智能推理模型的应用效率。该方法应用于包括API的推理设备,包括:推理设备基于API,获取推理模型的运行参数;推理设备基于API,初始化推理设备;推理设备利用推理模型的运行参数,生成计算图,并根据计算图,得到输入张量;推理设备获取输入数据,并利用输入数据对输入张量赋值,得到赋值后的输入张量;推理设备将赋值后的输入张量输入至计算图,得到输出张量,并根据输出张量得到推理结果。

主权项:1.一种推理框架的调用方法,其特征在于,应用于包括应用程序接口API的推理设备,所述API是对推理框架的推理过程进行封装得到的,所述方法包括:所述推理设备基于所述API,获取推理模型的运行参数;所述推理设备基于所述API,获取初始化所述推理设备;所述推理设备利用所述推理模型的运行参数,生成计算图,并根据所述计算图,得到输入张量;所述推理设备获取输入数据,并利用所述输入数据对所述输入张量赋值,得到赋值后的输入张量;所述输入数据是图片;所述推理设备将所述赋值后的输入张量输入至所述计算图,得到输出张量;所述推理设备根据所述输出张量,得到推理结果;所述根据所述计算图,得到输入张量,包括:所述推理设备根据所述计算图,获取所述输入张量的以下至少一个信息:个数、形状、数据布局、数据类型或者存储位置;所述推理设备根据所述至少一个信息,创建所述输入张量;或者,所述推理设备根据所述至少一个信息,获取所述输入张量的引用句柄;所述推理设备根据所述输入张量的引用句柄,得到所述输入张量;所述方法还包括:所述推理设备判断所述输入数据中是否存在未推理的数据;在不存在所述未推理的数据的情况下,所述推理设备释放生成所述计算图对应的资源;其中,所述输入张量和所述输出张量统一通过句柄表示;所述API以以下至少一种形式存在:动态链接库、静态链接库或者可执行文件。

全文数据:

权利要求:

百度查询: 建信金融科技有限责任公司 推理框架的调用方法和调用装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。