买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学申请的专利一种模型训练显存优化方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119205484B 。

龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411715255.6，技术领域涉及：G06T1/60；该发明授权一种模型训练显存优化方法及装置是由周翀;李石坚;潘纲设计研发完成，并于2024-11-27向国家知识产权局提交的专利申请。

本一种模型训练显存优化方法及装置在说明书摘要公布了：本发明公开了一种模型训练显存优化方法及装置，其中，优化方法包括：基于预设网络模型，训练一个轮次，记录每个张量的输入时刻、输出时刻、显存占用量和计算时间；根据传输速度和显存占用量，计算每个张量从GPU显存转移到主内存的转移时间开销；根据每个张量的输入、输出时刻，得到可隐藏转移开销的列表；根据可隐藏转移开销的列表，以张量的显存占用量建立大顶堆，并依次选取堆顶的张量为换入换出备选张量；在隐藏转移开销的情况下进行换入换出无法满足显存需求时，结合重计算手段进一步减少显存占用；根据上述显存优化策略，进行优化处理，使大规模网络模型在目标设备上进行训练。本发明可以在有效降低显存占用的同时，提高模型的训练速度。

本发明授权一种模型训练显存优化方法及装置在权利要求书中公布了：1.一种模型训练显存优化方法，其特征在于，包括：（1）基于预设网络模型，训练一个轮次，记录每个张量的输入时刻、输出时刻、显存占用量和计算时间；（2）根据传输速度和显存占用量，计算每个张量从GPU显存转移到主内存的转移时间开销；根据每个张量的输入时刻和输出时刻，如果张量输出时刻加上2倍的转移时间开销小于该张量的下次访问时刻，则判断该张量为可隐藏转移开销的张量，以此得到可隐藏转移开销的列表，该列表包含张量的id和显存占用量；（3）根据可隐藏转移开销的列表，以张量的显存占用量建立大顶堆，并依次选取堆顶的张量为换入换出备选张量，得到一个备选为换入换出的列表；具体为：根据优化前网络所需GPU显存和当前可用显存作差得到需要减少的显存占用量，然后循环遍历，从堆顶取出元素并标记该张量选为换入换出，遍历完成后，得到一个备选为换入换出的列表，该列表包含张量id，和显存占用量；循环遍历的结束条件为换入换出的张量显存占用量之和大于等于所需减少的显存占用量或者堆为空；如果循环结束，换入换出的张量显存占用量之和大于等于所需减少的显存占用量，则结束显存优化过程，进入步骤（5），否则，进入步骤（4），结合重计算手段进一步显存优化；（4）在隐藏转移开销的情况下进行换入换出无法满足显存需求时，结合重计算手段进一步减少显存占用，得到一个备选为重计算的列表；具体为：遍历计算图，针对每个算子，判断其前置算子的输出张量是否被选中为换入换出，如果被选中，该算子显存占用减去前置算子通过换入换出减少的显存占用，再除以算子计算时间，得到一个评估指标值；如果未被选中，直接算子显存占用除以算子计算时间，得到该值；以此得到对应的列表，该列表包括算子id和评估指标值；根据该评估指标值的大小，建立大顶堆；依次从堆顶取出，并标记为重计算，直到减少后的显存占用小于等于当前可用显存；遍历完成后，得到一个备选为重计算的列表，该列表包含算子id和显存占用量；（5）根据步骤（3）和（4）的显存优化策略，进行进一步优化处理，使大规模网络模型在目标设备上进行训练；具体为：针对每个张量的id判断是否在备选列表里，选择实施相应的策略；被标记为重计算则释放该显存，再次访问该张量时，通过前置的输出张量计算得到；被标记为换入换出则在得到该张量并计算完成后，转移到主内存中，根据下次访问时刻和转移时间开销，得到预取的时刻，在预取时刻前重新转移到GPU显存中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。