买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:山东浪潮科学研究院有限公司
摘要:本申请涉及自然语言处理技术领域,公开一种面向大规模语言模型的超长文本序列的处理方法、装置。方法包括:文本序列预处理:用于对输入的超长文本序列进行预处理,包括动态序列分割与自适应序列重排,将所述超长文本序列分割成多个连续且重叠的块,并过滤掉无关噪声;构建超长文本序列处理网络:基于Transformer架构构建一个处理网络以处理经过预处理的文本序列块;分块并行处理与融合:将所述文本序列块进行分块并行处理,并将处理结果进行融合;持续学习与反馈循环:用于根据处理结果动态调整处理策略,并反馈给文本序列预处理步骤。
主权项:1.一种面向大规模语言模型的超长文本序列的处理方法,其特征在于,包括:文本序列预处理:用于对输入的超长文本序列进行预处理,包括动态序列分割与自适应序列重排,将所述超长文本序列分割成多个连续且重叠的块,并过滤掉无关噪声;构建超长文本序列处理网络:基于Transformer架构构建一个处理网络以处理经过预处理的文本序列块;分块并行处理与融合:将所述文本序列块进行分块并行处理,并将处理结果进行融合;持续学习与反馈循环:用于根据处理结果动态调整处理策略,并反馈给文本序列预处理步骤。
全文数据:
权利要求:
百度查询: 山东浪潮科学研究院有限公司 面向大规模语言模型的超长文本序列的处理方法、装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。