买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国石油大学(华东)申请的专利一种提高深度算子网络模型推理求解和训练速度的方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119416897B 。

龙图腾网通过国家知识产权局官网在2025-04-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510018253.X，技术领域涉及：G06N5/04；该发明授权一种提高深度算子网络模型推理求解和训练速度的方法是由王珣;宋弢;朱先禧设计研发完成，并于2025-01-07向国家知识产权局提交的专利申请。

本一种提高深度算子网络模型推理求解和训练速度的方法在说明书摘要公布了：本发明属于人工智能及高性能计算技术领域，特别涉及一种提高深度算子网络模型推理求解和训练速度的方法。本发明针对PI‑DeepONet模型进行多层次的优化，提高其推理求解速度和训练速度。本发明定制SGEMM算子，在PI‑DeepONet常用的模型尺寸范围内，SGEMM算子相较于CUDA计算平台的基础线性代数库中最好的单精度矩阵乘法可取得最高1.5倍的加速比。针对模型中使用的modifiedMLP的特殊结构设计融合算子，模型的端到端推理速度获得2倍以上的加速比，图形处理器计算时间最高可被缩短5.7倍。本发明使用数据并行对模型进行分布式训练，并使用通信掩盖的策略，可扩展性保持在83%‑85%。

本发明授权一种提高深度算子网络模型推理求解和训练速度的方法在权利要求书中公布了：1.一种提高深度算子网络模型推理求解和训练速度的方法，其特征在于，包括以下步骤：S1、定制PI-DeepONet神经网络模型专用的SGEMM算子：设计了线程块、线程束和线程三个层次的分块策略来实现高的计算访存比，并优化访存方式以减少访存时间开销；S2、设计算子融合策略；将PI-DeepONet神经网络模型中大量零散的逐元素计算与矩阵乘法融合到一起，这些逐元素消耗的时间来自频繁启动算子以及频繁地访问全局内存进行大尺寸张量的读取或写入，通过算子融合有效消除了这些额外开销；S3、设计分布式并行训练策略；通过将计算和通信的时间开销重叠，减少PI-DeepONet神经网络模型训练所需的时间；步骤S2中，将bias加法、tanh激活函数与SGEMM算子进行融合，获得Linear-tanh算子，限制了每个线程所能使用的寄存器数量上限为128，同时，使用PTX指令实现tanh计算以减少寄存器的使用，将modifiedMLP的残差连接中的所有计算步骤与Linear-tanh算子融合，在这一步中会重新利用存储A矩阵元素和B矩阵元素的寄存器来存储U矩阵元素和V矩阵元素，每个线程根据Linear-tanh输出结果的tile，使用向量化访存指令获取所需的数据，对于反向传播的计算过程，保持未融合的状态，使用定制的SGEMM算子替换原始算子；在融合算子的前向传播过程中添加额外的访存步骤，将tanh激活函数的输出写回全局内存，在反向传播时，使用融合算子的输出，通过残差连接计算过程的逆过程重新计算出tanh激活函数的输出值，在反向传播过程中重新执行S矩阵乘法和激活函数的计算得到tanh激活函数的输出值用于求梯度；步骤S3中，包括数据并行、模型并行和通信隐藏，在使用数据并行的方式进行神经网络模型的分布式训练时，每个图形处理器上都保存一份完整的网络模型参数，而数据集被划分为若干个子集并分配个每个图形处理器，训练过程中，每个图形处理器首先利用自己本地的模型参数和数据集子集独立地进行前向传播和反向传播的计算并得到本地梯度，随后各图形处理器之间通过通信将梯度聚合，每个图形处理器在得到完整的梯度后，利用梯度更新本地的模型参数；模型并行中，完整的模型参数被划分给各个图形处理器，在训练过程中每个图形处理器只负责本地存储的部分网络模型的计算和参数更新；将用于聚合梯度的全局规约分解为规约和广播，它们将分别与反向传播计算过程和下一轮迭代的前向传播计算过程进行重叠。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国石油大学(华东)，其通讯地址为：266400 山东省青岛市黄岛区长江西路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。