买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广西电网有限责任公司

摘要：本发明涉及自然语言处理、深度学习、自动文本摘要领域，具体涉及一种基于BART融合指针生成网络的文本摘要方法，包括结合位置编码，对输入文本进行预处理；利用TF‑IDF权重机制，获取文本关键词权重向量；利用基于注意力机制的QRNN模型得到注意力分布，结合关键词分布，获取上下文向量；利用BART模型对上下文向量进行处理得到词表分布；利用指针生成网络，结合复制机制和覆盖机制，获取最终分布，得到基于BART融合指针生成网络的文本摘要模型；对基于BART融合指针生成网络的文本摘要模型进行优化训练，将文档输入到训练好的模型中，获取文档的摘要内容；本发明提升对低频词和集外词等的处理能力，同时减少重复冗余信息。

主权项：1.一种基于BART融合指针生成网络的文本摘要方法，其特征在于，包括以下步骤：S1：结合位置编码，对输入文本进行预处理，得到输入向量；S2：利用TF-IDF权重机制，获取文本关键词权重向量；S3：利用基于注意力机制的QRNN模型得到注意力分布，结合关键词分布，获取上下文向量，具体包括以下步骤：S31、将输入向量序列输入QRNN模型中，对输入向量在时间维度上进行卷积操作，生成候选维度序列Z＝{z1,z2,...,zT}；S32、将输入向量分为多个长度为k的短序列，一个短序列经过QRNN模型获取该短序列隐藏状态，QRNN模型的编码器利用最后一层隐藏状态初始化解码器，将最后一个隐藏状态进行线性投影，并在解码器的激活函数之前将线性投影后的编码器最后一个隐藏状态添加到解码器各层每个时间步长的卷积中；S33、QRNN模型的遗忘门和输出门采用动态平均池化进行处理得到池化结果；S34、结合注意力、关键词分布以及解码器最后的隐藏状态，获取注意力分布以及上下文向量；注意力分布表示为： 上下文向量表示为： 其中，αst为注意力分布；表示最后一层输出门和遗忘门池化结果；表示编码器最后一层隐藏状态；βst表示关键词分布；ot表示输出门；We和Wc为权重参数；s为编码器序列长度，t为解码器序列长度，l表示编码器最后一层隐藏层；S4：利用BART模型对上下文向量进行处理得到词表分布，具体包括以下步骤：S41、在BART模型的多头注意力层将上下文向量输入BART模型的底层编码器，将输入向量映射成三个不同的权重向量，即映射为向量维度为dq的Query向量、向量维度为dk的Key向量和向量维度为dv的Value向量；S42、通过Query向量和Key向量相乘表示输入部分字向量之间的相似度，记为[QK]T，并通过BART模型的维度dk进行缩放，经过softmax函数归一化，得到概率分布，并获取多头自注意力分布；S43、结合残差连接，即将上下文向量与多头自注意力层的输出求和并归一化处理后输入前馈神经网络，通过全连接层处理后，将输入前馈层的向量与前馈层的输出进行求和与归一化后输入下一层编码层；S44、通过编码器获取编码隐藏状态输出到解码器的多头自注意层中，得到注意力分布为ai，经过全连接层后输出为Si，并在顶层transformer模型中输出获取词表分布，表示为：Pvocab＝softmaxSi,ai；其中，Pvocab表示词表分布；S5：利用指针生成网络，结合复制机制和覆盖机制，获取最终分布，得到基于BART融合指针生成网络的文本摘要模型，具体包括：S41、在BART模型的多头注意力层将上下文向量输入BART模型的底层编码器，将输入向量映射成三个不同的权重向量，即映射为向量维度为dq的Query向量、向量维度为dk的Key向量和向量维度为dv的Value向量；S42、通过Query向量和Key向量相乘表示输入部分字向量之间的相似度，记为[QK]T，并通过BART模型的维度dk进行缩放，经过softmax函数归一化，得到概率分布，并获取多头自注意力分布；S43、结合残差连接，即将上下文向量与多头自注意力层的输出求和并归一化处理后输入前馈神经网络，通过全连接层处理后，将输入前馈层的向量与前馈层的输出进行求和与归一化后输入下一层编码层；S44、通过编码器获取编码隐藏状态输出到解码器的多头自注意层中，得到注意力分布为ai，经过全连接层后输出为Si，并在顶层transformer模型中输出获取词表分布，表示为：Pvocab＝softmaxSi,ai；其中，Pvocab表示词表分布；S6：对基于BART融合指针生成网络的文本摘要模型进行优化训练，将文档输入到训练好的模型中，获取文档的摘要内容。

全文数据：

权利要求：

百度查询： 广西电网有限责任公司 一种基于BART融合指针生成网络的文本摘要方法