买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京辉羲智能科技有限公司

摘要：本发明涉及一种多核AI芯片NUMA存储架构静态内存分配编译方法及编译器，所述方法包括以下步骤：S1、将AI计算任务描述为包括节点算子和计算边的AI计算图；S2、将AI计算图进行模型切分划分为多个父任务计算图；S3、将每个父任务计算图进行数据切分划分成多个子任务计算图；S4、将多个子任务计算图调度到同一个计算单元上去；S5、将拓扑序相同但是属于不同子任务计算图的计算边聚合在一起；S6、进行子任务计算图内存分配；S7、进行父任务计算图内存分配。有益效果是大幅提升内存利用率、执行效率高。

主权项：1.一种多核AI芯片NUMA存储架构静态内存分配编译方法，其特征在于包括以下步骤：S1、将AI计算任务描述为包括节点算子和计算边的AI计算图，所述节点算子代表一个计算操作，所述节点算子之间的计算边代表计算操作之间的计算数据传递；S2、将AI计算图进行模型切分划分为多个父任务计算图，所述父任务计算图内部所有节点算子、计算边仅发生在所述多核AI芯片计算单元私有内存上、不依赖全局存储；S3、将每个父任务计算图进行数据切分划分成多个子任务计算图，所述子任务计算图对父任务计算图计算边进行划分，承担部分父任务计算图计算边计算数据传递；S4、当某个父任务计算图划分的子任务计算图数量大于所述多核AI芯片计算单元数量时，根据抽屉原理，将多个子任务计算图调度到同一个计算单元上去，被调度到同一个计算单元上、隶属于同一个父任务计算图的多个子任务计算图称之为任务束，同一个任务束内的子任务计算图拓扑结构相同、但是同一条计算边的数据传输量不一定相同；S5、将任务束内所有子任务计算图计算边按照拓扑排序，将拓扑序相同但是属于不同子任务计算图的计算边聚合在一起，称之为内存块束，所述内存块束生命周期与源父任务计算图内存块生命周期完全相同；S6、进行子任务计算图内存分配，使用内存块束中数据量最大的内存块作为所述内存块束的内存需求，按照拓扑序对内存块束进行统一生命周期分析和内存分配；S7、进行父任务计算图内存分配，对于某个父任务计算图，每个计算单元上的任务束完成内存分配后，与其他父任务计算图进行第二轮数据依赖与生命周期分析，对步骤S6分配结果进行微调、避免全局存储访问。

全文数据：

权利要求：

百度查询： 北京辉羲智能科技有限公司 一种多核AI芯片NUMA存储架构静态内存分配编译方法及编译器