买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:辉羲智能科技(上海)有限公司
摘要:本发明公开了一种神经网络模型的算子调度方法及系统,所述方法包括:步骤1,搜集神经网络模型中每个算子的切分方案,并从中筛选得到唯一的切分方式,以确保算子在执行时内存消耗不超过单个计算核心的片上空间大小;步骤2,按照拓扑顺序遍历神经网络的所有子图,形成拓扑序列,并根据子图的切分信息合并子图,形成子图组;步骤3,执行动态规划算法,查找并确定神经网络模型的最优调度序列;步骤4,根据记录的最优调度信息,生成动态调度序列,并根据启发式贪心规则确定每个子图组所对应的计算核心编号。通过合理的算子调度,本发明不仅提升了计算效率,还进一步缩短了神经网络推理过程的时间延迟,从而实现了更高效、更快速的神经网络计算。
主权项:1.一种神经网络模型的算子调度方法,其特征在于,包括以下步骤:步骤1,搜集神经网络模型中每个算子的切分方案,并从中筛选得到唯一的切分方式,以确保算子在执行时内存消耗不超过单个计算核心的片上空间大小;步骤2,按照拓扑顺序遍历神经网络的所有子图,形成拓扑序列,并根据子图的切分信息合并子图,形成子图组;步骤3,执行动态规划算法,查找并确定神经网络模型的最优调度序列;步骤4,根据记录的最优调度信息,生成动态调度序列,并根据启发式贪心规则确定每个子图组所对应的计算核心编号。
全文数据:
权利要求:
百度查询: 辉羲智能科技(上海)有限公司 一种神经网络模型的算子调度方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。