买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南京航空航天大学申请的专利面向分布式Transformer训练的梯度有界丢失容忍的传输优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119996533B 。

龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510449151.3，技术领域涉及：H04L69/164；该发明授权面向分布式Transformer训练的梯度有界丢失容忍的传输优化方法是由张彤;华小祥;单丹枫设计研发完成，并于2025-04-10向国家知识产权局提交的专利申请。

本面向分布式Transformer训练的梯度有界丢失容忍的传输优化方法在说明书摘要公布了：本发明公开了一种面向分布式Transformer训练的梯度有界丢失容忍的传输优化方法。该方法利用UDP协议的低延迟特性，结合Transformer大模型训练对梯度有界丢失的容忍性，在应用层实现丢包率检测、重传机制、拥塞控制和可靠传输，并在UDP数据部分中添加自定义头部。具体地，将梯度张量分块并编号，通过UDP传输，然后计算丢包率，超过阈值则触发重传机制；接着聚合已接收数据块更新模型参数；最后根据ACK接收速率进行拥塞控制，动态调整发送速率。本发明能够有效减少拥塞和尾部延迟，提高分布式Transformer大模型训练的效率。

本发明授权面向分布式Transformer训练的梯度有界丢失容忍的传输优化方法在权利要求书中公布了：1.一种面向分布式Transformer训练的梯度有界丢失容忍的传输优化方法，其特征在于，包括以下步骤： S1、将梯度张量划分为多个数据块并进行编号，使用UDP协议向参数服务器传输数据块，并在UDP数据包的数据部分添加自定义头部信息； S2、建立丢包容忍传输模块：传输层基于UDP协议进行传输，应用层基于ACK机制执行，当参数服务器接收到数据包后向工作节点发送一个ACK消息，所述的ACK携带对应数据包的序列号，工作节点在发送数据包后设置定时器以等待ACK回复，如果工作节点在定时器所设置时间内未收到回复，将该数据包指针插入RS重传表中，为后续的重传策略做准备； S3、建立收敛检测和梯度重传模块：参数服务器通过接收到来自工作节点的梯度以确定所丢失的数据包，参数服务器计算丢包率，并在丢包率超过丢包容忍阈值时记录该信息； 当所有工作节点完成梯度传输后，参数服务器将记录所有超过丢包容忍阈值的节点，同时会利用步骤S1中的自定义头部信息，向工作节点表明发送的数据包类型为请求重传数据包；当工作节点收到重传请求消息时，工作节点会检索其RS重传表，并检查是否有数据包被记录为丢失，如果发现丢失的数据包，工作者通过丢包容忍传输模块将这些数据包重新传输给参数服务器； S4、建立动态发送速率控制模块：工作节点在传输梯度数据包的同时，计算收到ACK包的速率，通过对比自己的数据包发送速率和ACK包接收速率来评估当前链路拥塞情况，并且基于当前链路拥塞情况调整发送速率直到两者相差超过所设定的阈值，所述的阈值用于评估该工作节点是否处于稳定。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京航空航天大学，其通讯地址为：210016 江苏省南京市秦淮区御道街29号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。