买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜电子科技大学申请的专利一种面向大语言模型处理极长文本的推理运行加速方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119847763B 。

龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510315102.0，技术领域涉及：G06F9/50；该发明授权一种面向大语言模型处理极长文本的推理运行加速方法是由欧杰;蒋帅宏;陈迅雷;田文洪设计研发完成，并于2025-03-18向国家知识产权局提交的专利申请。

本一种面向大语言模型处理极长文本的推理运行加速方法在说明书摘要公布了：本发明公开了一种面向大语言模型处理极长文本的推理运行加速方法，属于大规模预训练语言模型推理优化技术领域，具体地：选取大语言模型并启用稀疏注意力模式，输入不同文本，记录不同层各注意力头执行时间和注意力模式类型，建立统计数据库；求解实际文本下大语言模型的多头注意力负载均衡分配策略；通过拆分权重矩阵，建立权重索引表；检索各注意力头对应的权重子矩阵，加载至对应GPU设备；通过异步预加载相邻层的MHA计算权重和MLP计算权重，结合KV缓存管理，实现推理过程的负载均衡。本发明通过在推理阶段进行注意力头的动态切分、重组和调度，有效避免多GPU负载不均衡和资源空转的问题，显著提升长序列处理的系统吞吐量。

本发明授权一种面向大语言模型处理极长文本的推理运行加速方法在权利要求书中公布了：1.一种面向大语言模型处理极长文本的推理运行加速方法，其特征在于，包括以下步骤：步骤1、选取大语言模型，包括层Transformer层，每一层的自注意力层包括个注意力头，并启用稀疏注意力模式；对大语言模型输入不同上下文长度的文本，记录不同上下文长度下第层的各注意力头执行时间和其采用的注意力模式类型，所得执行时间与对应注意力模式类型形成映射关系，进而建立得到统计数据库；步骤2、对于实际文本，求解下大语言模型的多头注意力负载均衡分配策略，具体过程为：对个GPU设备，将下第层的各注意力头分配至不同GPU设备上执行，作为第层的多头注意力负载分配方案；采用最近邻匹配的方式，在统计数据库中寻找上下文长度最接近的文本，将其第层的各注意力头执行时间作为下第层的对应注意力头执行时间，进而计算得到方案下第层的多头注意力执行时间；以为负载均衡目标函数，通过搜索算法，获取第层的最优多头注意力负载分配方案，进而求得下大语言模型的多头注意力负载均衡分配策略；步骤3、对第层自注意力层的查询权重矩阵、键权重矩阵和值权重矩阵，分别拆分为个按列方向拼接的子矩阵，得到各注意力头对应的查询权重子矩阵、键权重子矩阵和值权重子矩阵；根据策略，确定在同一GPU设备上执行的注意力头，将其对应的查询权重子矩阵、键权重子矩阵和值权重子矩阵拼接在一起，构成重组矩阵，共计得到个重组矩阵，分块存储在CPU内存中；并基于划分的重组矩阵，建立权重索引表；步骤4、根据方案和权重索引表，检索得到各注意力头对应的查询权重子矩阵、键权重子矩阵和值权重子矩阵，加载至对应GPU设备中；步骤5、第层的计算包括MHA计算和MLP计算，通过异步预加载相邻层的MHA计算权重和MLP计算权重，以及配合使用的KV缓存管理，实现推理过程的负载均衡。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新区(西区)西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。