浪潮电子信息产业股份有限公司贾敬崧获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浪潮电子信息产业股份有限公司申请的专利一种数据处理方法、装置、设备、介质及程序产品获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119311737B 。
龙图腾网通过国家知识产权局官网在2025-03-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411876220.0,技术领域涉及:G06F16/2455;该发明授权一种数据处理方法、装置、设备、介质及程序产品是由贾敬崧;李柏宏;吴韶华设计研发完成,并于2024-12-19向国家知识产权局提交的专利申请。
本一种数据处理方法、装置、设备、介质及程序产品在说明书摘要公布了:本申请公开了计算机技术领域内的一种数据处理方法、装置、设备、介质及程序产品。本申请在模型推理的初始化阶段,创建第一缓存区和第二缓存区;若接收到模型推理请求,则将模型推理请求的预处理阶段的上下文信息存储至第一缓存区;基于第一缓存区中的上下文信息,执行模型推理请求的解码阶段中的各个解码操作;其中,将前一解码操作的上下文信息存储至第二缓存区,基于第二缓存区中的上下文信息执行前一解码操作的后一解码操作。该方案基于以空间换推理效率的原则,利用两个缓存区分别存储预处理阶段和解码阶段的上下文信息,提升了模型推理性能和效率,无需更改模型结构,可使模型快速上线应用。
本发明授权一种数据处理方法、装置、设备、介质及程序产品在权利要求书中公布了:1.一种数据处理方法,其特征在于,包括:在模型初始化阶段,创建第一缓存区和第二缓存区;若接收到模型推理请求,则将所述模型推理请求的预处理阶段的上下文信息存储至所述第一缓存区;基于所述第一缓存区中的上下文信息,执行所述模型推理请求的解码阶段中的各个解码操作;其中,将前一解码操作的上下文信息存储至所述第二缓存区,基于所述第二缓存区中的上下文信息执行所述前一解码操作的后一解码操作;若所述模型推理请求为多个,则计算多个所述模型推理请求的起始索引值和结束索引值;利用所述起始索引值和所述结束索引值,对所述第一缓存区和所述第二缓存区中的多个所述模型推理请求分别对应的上下文信息进行标记;其中,计算多个所述模型推理请求的起始索引值和结束索引值,包括:若模型非首次运行、前一阶段为预处理阶段、当前处于预处理阶段的请求数量等于单批次请求总个数、且当前处于解码阶段的请求数量为0,则调整解码标志位的赋值,以使所述第一缓存区用于存储多个所述模型推理请求的解码阶段的上下文信息,使所述第二缓存区用于存储多个所述模型推理请求的预处理阶段的上下文信息,并且当前执行预处理阶段;针对多个所述模型推理请求,起始索引值设为0,结束索引值设为多个所述模型推理请求的请求总个数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浪潮电子信息产业股份有限公司,其通讯地址为:250014 山东省济南市高新区草山岭南路801号9层东侧;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。