买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京深势科技有限公司

摘要：本发明实施例涉及一种对长文本进行压缩的处理方法和装置，所述方法包括：构建第一、第二评分模型和第一决策模型并训练；模型训练后接收任意长文本和对应的问题文本；对长文本和问题文本进行文本降噪、文本规范化、文句转换处理得到文句序列问题文句；将文句序列和问题文句输入第一评分模型进行处理得到相关性评分序列；基于第二评分模型对文句序列的各文句的语义连贯性进行评分；将文句序列对应的文句特征向量序列输入第一决策模型进行处理得到决策类型序列；将各个具体为删除的决策类型对应的文句从长文本中删除，并将完成删除的长文本作为压缩文本输出。本发明提供的长文本压缩机制有助提高LLM模型的任务处理质量和处理效率。

主权项：1.一种对长文本进行压缩的处理方法，其特征在于，所述方法包括：构建第一评分模型、第二评分模型和第一决策模型；并对所述第一、第二评分模型和所述第一决策模型进行训练；所述第一评分模型用于对模型输入的文句序列中的每个文句与模型输入的问题文句之间的内容相关性进行评分并输出对应的相关性评分序列；所述第二评分模型用于对模型输入的文句对中的主文句与参考文句之间的语义连贯性进行评分并输出对应的连贯性评分；所述第一决策模型用于根据模型输入的文句特征向量序列进行文句保留删除决策处理并输出对应的决策类型序列；在所述第一、第二评分模型以及所述第一决策模型都完成模型训练后，接收任意长文本和对应的问题文本作为对应的第一长文本和第一问题文本；对所述第一长文本和所述第一问题文本进行文本降噪和文本规范化处理得到对应的第二长文本和第二问题文本；并对所述第二长文本和第二问题文本进行文句转换得到对应的第一文句序列和第一问题文句；所述第一文句序列包括多个第一文句；将所述第一文句序列和所述第一问题文句输入所述第一评分模型进行处理得到对应的第一相关性评分序列；并将所述第一评分模型处理过程中生成的与所述第一文句序列的各个所述第一文句对应的文句编码向量作为对应的第一文句编码向量；所述第一相关性评分序列包括多个第一相关性评分；所述第一相关性评分与所述第一文句一一对应；将各个所述第一文句作为对应的第一主文句；并由所述第一主文句在所述第一文句序列中的前一个和后一个所述第一文句拼接而成的新文句作为对应的第一参考文句；并由所述第一主文句和所述第一参考文句组成一个对应的第一文句对输入所述第二评分模型进行处理得到对应的第一连贯性评分；所述第一连贯性评分与所述第一主文句对应；由各个所述第一文句对应的所述第一文句编码向量、所述第一相关性评分和所述第一连贯性评分组成一个对应的第一文句特征向量；并由得到的所有所述第一文句特征向量顺序排序组成对应的第一文句特征向量序列；并将所述第一文句特征向量序列输入所述第一决策模型进行处理得到对应的第一决策类型序列；所述第一决策类型序列包括多个第一决策类型；所述第一决策类型包括保留和删除；所述第一决策类型与所述第一文句一一对应；将各个具体为删除的所述第一决策类型对应的所述第一文句从所述第二长文本中删除；并将完成文句删除的所述第二长文本作为对应的压缩文本输出；其中，所述第一评分模型的模型输入端包括第一模型输入端和第二模型输出端，所述第一模型输入端用于接收模型输入的文句序列A，所述第二模型输出端用于接收模型输入的问题文句b；所述第一评分模型的模型输出端用于输出对应的相关性评分序列C；所述文句序列A由多个文句ai顺序排序而成，1≤文句索引i≤N，N为所述文句序列A的序列长度；所述相关性评分序列C由多个相关性评分ci顺序排序而成，所述相关性评分ci与所述文句ai一一对应；所述第一评分模型包括第一编码器、第二编码器、第一多头自注意网络和第一全连接网络；所述第一编码器基于Transformer模型的编码器结构实现；所述第一编码器的输入端与所述第一模型输入端连接，输出端与所述第一多头自注意网络的第一输入端连接；所述第一编码器用于对所述文句序列A进行特征编码得到对应的序列编码张量X；并将所述序列编码张量X向所述第一多头自注意网络发送；所述序列编码张量X由多个文句编码向量xi组成；所述文句编码向量xi与所述文句ai一一对应；所述第二编码器基于Transformer模型的编码器结构实现；所述第二编码器的输入端与所述第二模型输入端连接，输出端与所述第一多头自注意网络的第二输入端连接；所述第二编码器用于对所述问题文句b进行编码得到对应的文句编码向量y；并将所述文句编码向量y向所述第一多头自注意网络发送；所述第一多头自注意网络包括多个并行的第一自注意模块si；所述第一自注意模块si与所述文句编码向量xi一一对应；所述第一多头自注意网络用于将所述序列编码张量X的各个所述文句编码向量xi和所述文句编码向量y组成一个对应的自注意输入向量zi；并将各个所述自注意输入向量zi输入对应的所述第一自注意模块si进行自注意运算得到对应的自注意输出向量oi；并由得到的所有所述自注意输出向量oi组成对应的自注意输出向量序列O向所述第一全连接网络发送；所述自注意输出向量序列O包括多个所述自注意输出向量oi，所述自注意输出向量oi与所述文句编码向量xi一一对应；所述第一多头自注意网络的各个所述第一自注意模块si用于根据预设的Q、K、V向量转换矩阵对输入的所述自注意输入向量zi进行Q、K、V向量转换得到对应的查询向量qi、键向量ki和值向量vi；并根据得到的所述查询向量qi、所述键向量ki和所述值向量vi进行自注意运算得到对应的所述自注意输出向量oi；所述第一全连接网络基于一个或多个顺次连接的全连接层实现；所述第一全连接网络用于根据所述自注意输出向量序列O进行回归计算得到对应的所述相关性评分序列C并输出；所述第二评分模型的模型输入端用于接收文句对D；所述第二评分模型的模型输出端用于输出对应的连贯性评分e；所述文句对D包括主文句dmain和参考文句dconf；所述连贯性评分e与所述主文句dmain对应；所述第二评分模型基于Transformer模型实现，由第三编码器、第一解码器和第二全连接网络组成；所述第三编码器、所述第一解码器和所述第二全连接网络分别基于Transformer模型的编码器、解码器和全连接网络实现；所述第三编码器的输入端与模型输入端连接，输出端与所述第一解码器的输入端连接；所述第一解码器的输出端与所述第二全连接网络的输入端连接；所述第二全连接网络的输出端与模型输出端连接；所述第三编码器用于对所述文句对D进行特征编码得到对应的文句对编码张量G，并将所述文句对编码张量G向所述第一解码器发送，所述文句对编码张量G包括主文句编码向量gmain和参考文句编码向量gconf；所述第一解码器用于根据所述文句对编码张量G对主文句与参考文句的语义连贯性进行推演解码得到对应的解码特征张量向所述第二全连接网络发送；所述第二全连接网络用于根据所述解码特征张量进行回归计算得到对应的所述连贯性评分e并输出；所述第一决策模型的模型输入端用于接收文句特征向量序列P；所述第一决策模型的模型输出端用于输出对应的决策类型序列U；所述文句特征向量序列P由多个文句特征向量pi顺序排序而成；所述文句特征向量pi与所述文句ai一一对应；所述文句特征向量pi由对应的所述文句编码向量xi、所述相关性评分ci和所述连贯性评分e组成；所述决策类型序列U由多个决策类型ui顺序排序而成；所述决策类型ui包括保留和删除；所述决策类型ui与所述文句ai一一对应；所述第一决策模型基于LSTM模型实现。

全文数据：

权利要求：

百度查询： 北京深势科技有限公司 一种对长文本进行压缩的处理方法和装置