买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆大学申请的专利基于双流注意力和位置残差连接的文本摘要自动抽取方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115309887B 。

龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210950607.0，技术领域涉及：G06F16/34；该发明授权基于双流注意力和位置残差连接的文本摘要自动抽取方法是由曾骏;王子威;钟林;陶鸿锦;周魏;文俊浩设计研发完成，并于2022-08-09向国家知识产权局提交的专利申请。

本基于双流注意力和位置残差连接的文本摘要自动抽取方法在说明书摘要公布了：本发明涉及一种基于双流注意力和位置残差连接的文本摘要自动抽取方法，包括如下步骤：选用公开数据集并对数据集中的数据进行标注；构建RBPSum模型，RBPSum模型包括句子编码器、上下文编码器和输出层；采用句子编码器对训练集中所有语句进行语句的特征提取，得到每条语句的句子特征表示；将句子特征表示作为上下文编码器的输入，依次经过L个句子强化层，输出得到对应的上下文位置编码信息；最后通过输出层得到每条语句被选取作为摘要的概率值，选择前K个概率值所对应的语句作为对文本的预测摘要。使用本发明模型，其性能优于大量以往的SOTA模型，能够更准确的提取文本中的关键信息作为文本摘要，即使是在使用小规模数据时，其性能仍具有很强的竞争力。

本发明授权基于双流注意力和位置残差连接的文本摘要自动抽取方法在权利要求书中公布了：1.一种基于双流注意力和位置残差连接的文本摘要自动抽取方法，其特征在于：包括如下步骤： S100：选用公开数据集，该数据集包括D个文本及每个文本对应的实际摘要信息；所述每个文本包含若干条语句，且D中包含的所有语句都标有原始标签；从带有原始标签的数据集中随机抽取一部分作为训练集，剩余部分作为测试集； S200：构建RBPSum模型，RBPSum模型包括句子编码器、上下文编码器和输出层； 所述上下文编码器由L个句子强化层组成，每个句子强化层由多层Transformer编码器组成，Transformer编码器中所使用的注意力机制是双流自注意力； 所述输出层包括位置残差连接模块和概率预测模块； S300：设训练集中包含P个文本和训练数据批次为Q，将P进行Q等分得到A，即A＝PQ，对RBPSum模型进行初始化： S400：令batch＝1； S410：从训练集中选择A个训练样本作为一个batch，batch∈[1,Q]； S420：令t＝1； S430：从训练集中选择第t个文本Dt，采用句子编码器对Dt中的所有语句进行特征提取，得到Dt中每条语句的句子特征表示Et :n，其中，n表示Dt中所有文本包含的句子数量； S440：将Et :n作为上下文编码器的输入，Et :n依次经过L个句子强化层，输出得到Et :n在文档级别的上下文特征编码信息； S450：使用输出层计算并输出Dt中的所有语句的概率值P，具体步骤如下： S451：使用位置残差连接模块将Et :n与其对应的上下文特征编码信息进行求和运算，得到与Et :n对应的、位置强化处理后的句子上下文向量计算表达式如下： 其中，β为超参数，X为句子强化层的输出向量； S452：使用概率预测模块计算Dt中每条语句被选取作为摘要的概率值P，表达式如下： 其中，σ表示Sigmoid函数，P∈0,1； S453：将Dt中的所有语句的P值进行降序排列，选取前K个概率值所对应的语句作为对Dt的预测摘要； S460：构建目标函数object，具体步骤如下： S461：计算Dt的预测摘要与对应实际摘要之间的分类损失函数BCELoss； S462：使用相似度函数计算Dt的实际摘要与对应文本特征表示之间的距离Dist1，计算表达式如下： Dist1＝CosSimEtgt,Edoc；3 其中，Etgt表示实际摘要，Edoc表示文本特征表示，CosSim·表示余弦相似度函数； 其中，n为文本中的句子数量，q＝1，…，n，Eq表示Dt文本中第q个句子的文本特征表示； S463：计算Dt的实际摘要中所包含语句之间的距离Dist2，计算表达式如下： 其中，Ci表示经过位置残差连接后的句子上下文特征表示，m表示每个实际摘要中的句子数量，i＝0,…,m-1，j＝i+1，j＝1,…,m； S464：计算Dt的目标函数，表达式如下： object＝BCELoss-Dist1+Dist2；6 S465：根据目标函数反向传播更新RBPSum模型参数； S466：如果t≥A，则将当前RBPSum的模型参数记为一个checkpoint进行保存，并执行下一步；如果t＜A，则令t＝t+1，且返回S430； S470：如果batch≥Q，则执行下一步；如果batch＜Q，则令batch＝batch+1，且返回S410； S500：确定RBPSum模型的最终参数： S510：从Q个checkpoint中选取一个作为当前RBPSum模型使用的参数； S520：设测试集中含有W个文本，从W中选取第s个文本作为当前RBPSum模型的输入，输出得到第s个文本的预测摘要； S530：使用贪心算法计算对第s个文本的预测摘要中的每个句子与第s个文本对应的实际摘要之间的ROUGE得分，得到若干个ROUGE得分，然后计算该若干个ROUGE得分的算术平均值Range； S540：采用S520和S530所述方法计算W个文本对应的Range，将W个文本对应的Range求算术平均值得到该checkpoint对应的Range’； S550：重复S520-S540，遍历所有checkpoint，计算得到Q个Range’； S560：将Q个Range’降序排列，选择最高Range’对应的checkpoint作为当前RBPSum模型的参数，并将该当前RBPSum模型作为最终训练好的RBPSum模型； S600：将待预测文本输入到最终训练好的RBPSum模型中，输出为该待预测文本的预测文本摘要。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆大学，其通讯地址为：400044 重庆市沙坪坝区沙正街174号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。