买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜之江实验室申请的专利一种模型训练和业务执行方法、装置、存储介质及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119150804B 。

龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411628434.6，技术领域涉及：G06F40/16；该发明授权一种模型训练和业务执行方法、装置、存储介质及设备是由钱昊;邹乔莎;杨建明;陈红阳设计研发完成，并于2024-11-14向国家知识产权局提交的专利申请。

本一种模型训练和业务执行方法、装置、存储介质及设备在说明书摘要公布了：本说明书公开了一种模型训练和业务执行方法、装置、存储介质及设备。所述模型训练方法包括：根据预设的数据并行维度和序列并行维度将样本数据切分为多个子样本，并将各子样本分配到不同的图形处理器GPU上；针对每个GPU，在将分配到该GPU上的子样本输入部署在该GPU上的目标模型后，确定目标模型中的每一个子层所对应的激活值并存储，其中，针对每个子层，若该子层对应的层级小于指定层级，则将该子层对应的激活值存储到中央处理器CPU中，并在该GPU中将该子层对应的激活值进行删除；确定目标模型的损失值，并根据损失值以及每个子层所对应的激活值，对目标模型进行训练。本方案有效提高了模型的训练效率和GPU的利用率。

本发明授权一种模型训练和业务执行方法、装置、存储介质及设备在权利要求书中公布了：1.一种模型训练方法，其特征在于，包括：接收针对目标模型的训练请求，并根据所述训练请求获取样本数据，其中，所述目标模型中包含有若干个结构相同的子层，所述目标模型为大语言模型；针对所述目标模型中的每个子层，该子层中的最后一个网络模块为自注意力模块；根据预设的数据并行维度和序列并行维度将所述样本数据切分为多个子样本，并将各子样本分配到不同的图形处理器GPU上；针对每个GPU，在将分配到该GPU上的子样本输入部署在该GPU上的目标模型后，确定针对分配到该GPU上的子样本的预测结果，以及，确定所述目标模型中的每一个子层所对应的激活值并存储，其中，针对每个子层，若该子层对应的层级小于指定层级，则将该子层对应的激活值存储到中央处理器CPU中，并在GPU中将该子层对应的激活值进行删除；根据所述预测结果，确定目标模型的损失值，并根据所述损失值以及所述每个子层所对应的激活值，对目标模型进行训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室，其通讯地址为：311121 浙江省杭州市余杭区中泰街道科创大道之江实验室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。