买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国工业互联网研究院
摘要:本发明公开一种AI框架测试方法、装置、设备及存储介质,属于人工智能技术领域,根据待测AI框架,得到待测算子;对待测算子进行算子测试,得到待测AI框架的算子能力测试结果;对待测AI框架进行模型能力测试,得到待测AI框架的模型能力测试结果;根据算子能力测试结果与模型能力测试结果,得到所述待测AI框架的评估结果。上述方法实现了通过算子测试和模型测试两个部分,能够全面评估AI框架的功能、性能和正确性,提高对模型实际性能水平的认知,从而为进一步的性能优化、资源配置和应用部署提供依据。
主权项:1.一种AI框架测试方法,其特征在于,所述AI框架测试方法,包括:根据待测AI框架,得到待测算子;对所述待测算子进行算子测试,得到所述待测AI框架的算子能力测试结果;所述对所述待测算子进行算子测试,得到所述待测AI框架的算子能力测试结果,包括:获取标准输入数据与预设测试框架,所述预设测试框架包括功能测试框架与性能测试框架;根据所述标准输入数据与功能测试框架,对所述待测算子进行算子功能测试,得到功能测试结果;根据所述标准输入数据与性能测试框架,对所述待测算子进行算子性能测试,得到性能测试结果;根据所述功能测试结果与性能测试结果,得到算子能力测试结果;所述根据所述功能测试结果与性能测试结果,得到算子能力测试结果,包括:在所述功能测试框架内,根据所述待测算子对所述标准输入数据进行处理,得到所述待测算子的标准输出结果;在所述待测AI框架内,根据所述待测算子对所述标准输入数据进行处理,得到所述待测算子的测试输出结果;根据所述标准输出结果与测试输出结果,得到所述待测算子的正确性指标;根据所述正确性指标,得到所述待测算子的算子功能测试结果;对所述待测AI框架进行模型能力测试,得到所述待测AI框架的模型能力测试结果;根据所述算子能力测试结果与所述模型能力测试结果,得到所述待测AI框架的评估结果。
全文数据:
权利要求:
百度查询: 中国工业互联网研究院 AI框架测试方法、装置、设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。