申请/专利权人：淮阴工学院

申请日：2021-06-04

公开（公告）日：2024-06-11

公开（公告）号：CN113468867B

主分类号：G06F40/216

分类号：G06F40/216;G06F40/284;G06F40/126

优先权：

专利状态码：有效-授权

法律状态：2024.06.11#授权;2021.10.26#实质审查的生效;2021.10.01#公开

摘要：本发明公开了一种基于Attention机制的参考文献引用合法性预测方法,将目标文章的单词序列[w1,w2,w3,…,wn]通过时间编码和位置编码后传入到Attention机制中，计算得到查询矩阵Query和键矩阵Key；使用pytorch.Embedding方法对需要检查引用合法性的文献全文的单词序列[s1,s2,s3,…,sn]进行编码得到编码后的键矩阵Value；利用查询矩阵Query、键矩阵Key和值矩阵计算Attention值；将计算过的Attention值通过一个全连接层进行线性变换；最后将线性变换后的结果输入到sigmoid层中计算出最后的合法性概率。本发明适用于普遍地检查在目标文章中参考文献引用合法性的预测问题。

主权项：1.一种基于Attention机制的参考文献引用合法性预测方法,所述的引用合法性，是指目标文章中所提到的参考文献是否在文章中得到合法引用；其特征在于：将目标文章的单词序列[w1,w2,w3,…,wn]通过时间编码和位置编码后传入到Attention机制中，计算得到查询矩阵Query和键矩阵Key；使用pytorch.Embedding方法对需要检查引用合法性的文献全文的单词序列[s1,s2,s3,…,sn]进行编码得到编码后的值矩阵Value；利用查询矩阵Query、键矩阵Key和值矩阵Value计算Attention值；将计算过的Attention值通过一个全连接层进行线性变换；最后将线性变换后的结果输入到sigmoid层中计算出最后的合法性概率；具体步骤如下：步骤1：将目标文章的单词序列[w1,w2,w3,…,wn]输入进行时间编码，得到编码过后词向量矩阵A；步骤1.1：定义只含正文内容的目标文章的单词序列为src_vocab；步骤1.2：对输入的单词序列进行位置编码，将每个单词的位置信息传递到词向量矩阵A中；步骤2：利用Attention机制对词向量矩阵A进行两次线性变换，得到查询矩阵Q，键矩阵K；具体方法为：步骤2.1：定义一个矩阵WQ，利用这个矩阵对所有的字向量进行线性变换，得到两个新的向量qt；步骤2.2：将所有的qt向量拼成一个大矩阵，记作查询矩阵Q；步骤2.3：定义一个矩阵WK，利用这个矩阵对所有的字向量进行线性变换，得到两个新的向量kt；步骤2.4：将所有的kt向量拼成一个矩阵，记作键矩阵K；步骤3：对需要预测的参考文献的单词序列r1,r2,r3,…,ru进行词嵌入，得到一个更高维度的值矩阵V；具体方法为：步骤3.1：定义参考文献数据集为Reference，数据集Reference根据篇名进行划分，分别对应每篇参考文献的单词序列；其中，Reference＝[r1,r2,…,ru,…,rm,airm-1,airm]T；ru＝[s1u,s2u,s3u,…,snu]；u∈[1,m]；步骤3.2：对参考文献进行初始化字编码，得到一个高维度值矩阵V；步骤4：对得出的查询矩阵Q、键矩阵K和值矩阵V计算相应的Attention值，得到注意力值矩阵D；具体方法为：步骤4.1：将步骤2.2中的查询矩阵Q与步骤2.4中的键矩阵K的转置KT相乘得到矩阵scores；步骤4.2：使用维度的根号与步骤4.1的结果相乘；步骤4.3：使用Softmax对步骤4.2的结果进行数值转换；步骤4.4：将步骤4.3的结果与值矩阵V相乘得到最后的注意力值矩阵D；步骤5：通过一个全连接网络对注意力值矩阵D进行线性变换，得到变换形状后的矩阵N；具体方法为：步骤5.1：定义一个全连接层，其形状为[in_features,out_features]；步骤5.2：将步骤4.4的结果注意力值矩阵D经过步骤5.1的全连接层进行线性变换得到矩阵N；步骤6：通过Sigmoid激活函数对矩阵N进行激活，得到一个值在0，1之间的一维矩阵S，根据S得出最后的预测结果y。

全文数据：

权利要求：

百度查询： 淮阴工学院 一种基于Attention机制的参考文献引用合法性预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD