买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)申请的专利Transformer低延迟高吞吐推理的映射方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119248509B 。

龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411754783.2，技术领域涉及：G06F9/50；该发明授权Transformer低延迟高吞吐推理的映射方法是由葛梦柯;钟颖健设计研发完成，并于2024-12-03向国家知识产权局提交的专利申请。

本Transformer低延迟高吞吐推理的映射方法在说明书摘要公布了：本发明公开了Transformer低延迟高吞吐推理的映射方法，涉及人工智能技术领域，将网络模型部署在片上分布式存储架构的芯片上，以提高网络模型在硬件上的推理速度，具体包括如下步骤包括如下步骤：步骤一、X‑Y堆叠流水线并行策略：将整个网络模型按Transformer块切分成层组，每个层组按设定规则依次映射到芯片节点阵列，层组在芯片的不同区域以流水线并行方式执行，层组内部以张量并行的方式执行；步骤二、基于整数线性规划的划分与映射构建数学模型的目标函数以及约束条件，以实现延迟约束下的网络模型高吞吐推理；该低延迟高吞吐推理的映射方法，实现了Transformer模型延迟约束下的高吞吐推理。

本发明授权Transformer低延迟高吞吐推理的映射方法在权利要求书中公布了：1.Transformer低延迟高吞吐推理的映射方法，其特征在于，将网络模型部署在片上分布式存储架构的芯片上，以提高网络模型在硬件上的推理速度；所述网络模型在片上分布式存储架构上的部署方法包括如下步骤：步骤一、X-Y堆叠流水线并行策略：将整个网络模型按Transformer块切分成层组，每个层组按设定规则依次映射到芯片节点阵列，层组在芯片的不同区域以流水线并行方式执行，层组内部以张量并行的方式执行；步骤二、基于整数线性规划的划分与映射构建数学模型的目标函数以及约束条件，以实现延迟约束下的网络模型高吞吐推理；数学模型的目标函数以最小化所有层组中的最大延迟为优化目标，具体为： 其中，表示当前层组的第一个Transformer块，表示下一层组的第一个Transformer块，分别表示当前层组所占芯片节点阵列的列数和行数，表示乘积，表示第一个Transformer块到最后一个Transformer块是否被映射到大小为的子阵列上，表示当前层组中第一个Transformer块到最后一个Transformer块在大小为的芯片节点阵列上的执行时间；数学模型的约束条件对应的公式表达如下： 其中，表示一个整数常量，和分别表示整个芯片节点阵列的行数和列数，分别表示第个层组所占芯片节点阵列的列数和行数，表示第个层组的堆叠方向，分别表示第个层组及之前的层组所占芯片节点阵列的列数和行数，表示第个层组的第一个Transformer块编号，表示第0个层组的第一个Transformer块编号为0，表示第个层组的第一个Transformer块编号，表示第个层组包含Transformer块，表示第个层组包含Transformer块，表示第个层组相对之前的一个层组的堆叠方向和所占芯片节点阵列大小，D=0表示向右侧堆叠，D=1表示向上堆叠，表示当前层组中第一个Transformer块到最后一个Transformer在大小为的芯片节点阵列上的执行时间，由Transformer块张量并行方法给出，为一常量多维数组，表示层组的个数，为最大执行时间，表示Transformer块的数量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)，其通讯地址为：230000 安徽省合肥市高新区望江西路5089号,中国科学技术大学先进技术研究院未来中心B1205-B1208；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。