申请/专利权人：华南理工大学

申请日：2022-03-14

公开（公告）日：2024-06-21

公开（公告）号：CN114781356B

主分类号：G06F40/211

分类号：G06F40/211;G06F40/284;G06N3/0455;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2022.08.09#实质审查的生效;2022.07.22#公开

摘要：本发明公开了一种基于输入共享的文本摘要生成方法。所述方法包括以下步骤：对文本进行计算得到句子，并将句子组合得到多个候选摘要文本，得到候选摘要数据集；得到模型输入序列，计算模型输入序列的注意力掩码矩阵；构建文本摘要生成模型，获取候选摘要文本对应的最终的候选摘要得分；使用候选摘要得分，以候选摘要文本的真实得分监督文本摘要生成模型的训练，得到训练好的文本摘要生成模型；获取待推理文本，进行预处理后输入训练好的文本摘要生成模型，选取候选摘要得分的候选摘要文本作为待推理文本的摘要文本。本发明能够减少输入到模型中的词数，在保留大部分生成效果的前提下，极大提高模型的训练速度与推理速度。

主权项：1.一种基于输入共享的文本摘要生成方法，其特征在于，包括以下步骤：S1、基于句子级别的抽取式摘要生成算法，对文本进行计算得到句子，并将句子组合得到多个候选摘要文本，进而得到候选摘要数据集，具体如下：获取多个文本，使用开源的句子级别的抽取式文本摘要生成算法，对每一个文本都进行处理并计算，获得该文本中评分排名高的最多10个句子，然后对获得的句子每2个句子或每3个句子组合得到该文本对应的T个候选摘要文本；获取每个文本对应的T个候选摘要文本的真实得分，得到包括原文本、原文本对应的T个候选摘要文本以及原文本对应的T个候选摘要文本的真实的得分的候选摘要数据集；获取文本对应的参考摘要，将候选摘要文本与参考摘要进行比较，分别计算ROUGE-1得分、ROUGE-2得分和ROUGE-L得分，并计算三者的平均值，作为候选摘要文本的真实得分；S2、在原文本序列前后补充代表文本和候选摘要文本的特殊符，得到模型输入序列，具体如下：原文本序列表示为d＝{s1,s2,…,sm}，其中m为文本的句子数量，每个句子si＝{wi1,wi2,…,win}，其中n为句子si包含的单词数量，win表示句子si的第n个词语；模型输入序列中，将文本的多个句子文本使用特殊符[SEP]连接起来；代表文本和代表候选摘要文本的特殊符相同，在原文本序列头部补充特殊符[CLS]作为原文本表示词，在原文本序列尾部补充多个特殊符[CLS]t作为候选摘要文本表示词，[CLS]t表示原文本中得到的第t个候选摘要文本对应的特殊符，t＝1～T，T为候选摘要文本的个数；对原文本序列处理后，得到的模型输入序列表示为：z＝{CLS,w11,…,w1n,SEP,…,wm1,…,wmn,SEP,CLS1,…,CLST}获取模型输入序列对应的位置编码序列，对所有的[CLS]特殊符，其位置编码均为0，而文本词语的位置编码按序列长度增长；获取模型输入序列对应的片段编码序列，对所有的[CLS]t特殊符，其片段编码均为S0，而文本词语的片段编码是使用S0、S1两种编码，按照句子索引，交错分布；最后依据BERT模型的词表将模型输入序列、位置编码序列、片段编码序列分别映射为各自的onehot向量；计算模型输入序列的注意力掩码矩阵；所述注意力掩码矩阵用于BERT模型的自注意力计算模块，用于屏蔽不相关内容的注意力交互；其中代表原文本的特殊符和原文本的词语能够进行相互的注意力计算，即在注意力掩码矩阵上并未屏蔽原文本和原文本的词语之间的计算；而代表候选摘要文本的特殊符仅能与部分原文本的词语进行相互的注意力计算，具体为代表候选摘要文本的特殊符，仅能与其代表的候选摘要文本中的词语进行注意力计算，原文本的词语也只能与被包含到的候选摘要文本的特殊符进行注意力计算；S3、构建文本摘要生成模型，将模型输入序列和模型输入序列的注意力掩码矩阵输入到文本摘要生成模型，获取候选摘要文本对应的最终的候选摘要得分；S4、使用步骤S3中得到的候选摘要得分，以候选摘要文本的真实得分监督文本摘要生成模型的训练，得到训练好的文本摘要生成模型；S5、获取待推理文本，进行预处理后输入训练好的文本摘要生成模型，选取候选摘要得分的候选摘要文本作为待推理文本的摘要文本。

全文数据：

权利要求：

百度查询： 华南理工大学 一种基于输入共享的文本摘要生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD