买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆大学

摘要：本发明公开了一种基于BART‑BiGRU‑LAAM的文本摘要生成方法与系统，属于自然语言处理中的文本摘要领域；利用BiGRU特征提取单元捕捉带有上下文时序的语义信息，提取单元包括BiGRU模块：从正反双向捕捉嵌入向量的上下文时序信息，通过记忆、遗忘和更新机制的神经网络处理得到带有语义信息的隐藏状态；卷积编码器：接受隐藏状态向量将其分为两部分并使用门控单元结合二者，提取文本的语义特征。基于预训练语言模型BART，搭建嵌套多层Transformer编码器‑解码器架构的文本摘要生成模型，解决摘要模型生成长度过长，内容不精简和生成摘要存在事实一致性两大问题。本发明能够生成给定期望长度以内的摘要，并且生成摘要的ROUGE得分相较于当前研究领域内的其他模型均有提升。

主权项：1.一种基于BART-BiGRU-LAAM的文本摘要生成方法，其特征在于，包括以下步骤：步骤1：采集文本数据以及摘要，构建文本-摘要对数据集，对数据集进行分词、去停用词文本预处理，将预处理后的文本信息送入BART模型编码器的词嵌入层；步骤2：采用LAAM对BART解码器的多头自注意力分布进行重构，在每个时间步计算输出的同时，给定其将生成词元的剩余数量lt；在每个时间步摘要词元与源文档词元间的注意力分布中增强具有更高注意力分数的前lt个词元；随着解码进行，提高序列结束标志注意力，控制输出摘要长度；步骤3：经预训练的嵌入矩阵编码后，得到文本的初始表征向量X＝x1,...,xm，其中m为文本词元的个数，将该初始表征向量分别输入BART编码器的位置嵌入单元和BiGRU层进行特征提取；单个GRU特征编码单元通过更新门和重置门提取输入序列的语义特征并进行记忆得到词元级编码的隐状态向量ht；BiGRU单元从正反两个方向处理文本序列从而得到两个隐藏状态向量；将两个方向的隐状态向量结合起来输入GLU单元的卷积编码器中，将每层每个卷积核窗口的输出平分为两部分并融合两部分的信息，最后一个卷积层的输出即为源文档的语义表征向量；结合两部分编码器的输出通过计算得到用于生成词元分布概率的语义增强后的上下文向量ct： 其中，t为摘要中待生成词元的位置；i为源文本中词元的位置；为长度感知注意力分布；a′t,i为输入选择注意力分布，是剩余长度与交叉注意力的乘积；m为源文本词元个数；h′i为两编码器输出的加权和；hi为预训练模型的编码器最后一层隐藏状态，即上下文表征向量；为BiGRU单元得到的语义表征向量；α为控制比例的超参数；步骤4：上下文向量经过线性层馈送得到待生成位置的Logits；对源文本数据进行去重后采用One-Hot编码将其编码为01向量进行词典标记语义增强，将该向量输入至全连接层得到源文本的词元分布向量；将待生成位置的Logits与源文本的词元分布向量进行加权平均得到经过两阶段语义增强的待生成位置的Logits；步骤5：对于解码器的输出，通过指针网络决定待生成位置词元由词典生成或是从源文本进行复制，并通过覆盖机制避免重复生成摘要；按步骤1到步骤5训练后，输入文本数据，输出文本摘要。

全文数据：

权利要求：

百度查询： 重庆大学 一种基于BART-BiGRU-LAAM的文本摘要生成方法与系统