买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学申请的专利一种加速大模型训练的异步多向流水线并行方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119250147B 。

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411764376.X，技术领域涉及：G06N3/08；该发明授权一种加速大模型训练的异步多向流水线并行方法是由陈岭;余文杰设计研发完成，并于2024-12-04向国家知识产权局提交的专利申请。

本一种加速大模型训练的异步多向流水线并行方法在说明书摘要公布了：本发明公开了一种加速大模型训练的异步多向流水线并行方法，包括：创建多个流水线并行组，组间设备排序不同；将待训练大模型切分的模型切片按顺序分配给每组中各个设备，每组均包含完整的待训练大模型；选取任一组作为优化器注册并行组并为其中各个设备的模型切片注册优化器；按照异步多向流水线调度方式对待训练大模型进行训练，每个设备将其中同一模型切片在各个微数据批上的梯度进行累加，当累积的微数据批构成一个数据批时立即或在流水线空泡位置进入下一步骤；各个设备将累加的梯度聚合到优化器注册并行组的设备上并利用聚合梯度进行参数更新。本发明方法能在保证高吞吐的同时兼顾训练的收敛性，在不增加额外通信开销的前提下减少存储开销。

本发明授权一种加速大模型训练的异步多向流水线并行方法在权利要求书中公布了：1.一种加速大模型训练的异步多向流水线并行方法，其特征在于，包括以下步骤：创建多个流水线并行组，每个组均包含服务器中的所有设备，组间设备排序不同，组的数量与设定的流水线方向数相同；将待训练大模型进行层间均匀切分得到模型切片，将模型切片按顺序分配给每组中的各个设备，使每个组均包含完整的待训练大模型；选取任一组作为优化器注册并行组，为优化器注册并行组中的各个设备分得的模型切片注册优化器；按照异步多向流水线调度方式对待训练大模型进行训练，每个设备将其中同一模型切片在各个微数据批上的梯度进行累加，当累积的微数据批能构成一个数据批时，若流水线中没有流水线空泡则立刻进入下一步骤，否则在下个出现流水线空泡的位置进入下一步骤；各个设备将累加的模型切片在一个数据批上的梯度聚合到优化器注册并行组的设备上并利用聚合后的梯度进行参数更新。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。