买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆理工大学

摘要：本发明涉及自然语言处理技术领域，尤其涉及一种基于残差结构和双向融合注意力的跨度提取阅读理解方法，一种基于残差结构和双向融合注意力的跨度提取阅读理解方法，包括以下步骤：采用不同尺度的卷积核对问题和文章分别卷积，得到不同语义空间下的特征，再分别计算同一尺度卷积核下的问题和文章的相似度分数，最后选取最大特征作为最终的相似度分数矩阵。本发明提出双向融合注意力机制；不仅计算了基于问题的文章表示向量，同时利用提出的针对问题的层叠注意力机制，计算基于文章的问题向量表示，并进行融合拼接以预测答案，并提出残差结构来连接从预训练语言模型输出的具有原始语义的特征向量。

主权项：1.一种基于残差结构和双向融合注意力的跨度提取阅读理解方法，其特征在于，包括以下步骤：定义个词的文章为，含有个词的问题为； 把问题和文章通过分词器，并把它们拼接为定长的序列； 把拼接好的定长的序列输入到多层Transformer结构的编码器端，得到输出向量； 将所述输出向量按照问题和文章的长度分成问题序列和文章序列； 采用不同大小的卷积核，分别对文章和问题进行不同语义空间下的特征提取，得到局 部表示向量和： 通过注意力机制计算局部表示的相似度矩阵： 选取第个文章单词和第个问题单词相似度最大值构成最显著的相似度分数矩阵； 通过双向融合注意力机制，得到基于问题的文章表示和基于文章的问题表 示；将基于文章的问题表示和经过门机制得到的基于问题的文章表 示拼接表示为拼接向量； 把经过注意力机制后得到的拼接向量，记为细粒度向量，模拟人类精读时的效果，把 从编码器端得到的输出向量序列记为粗粒度向量，模拟人类略读时的结果；采用跳跃连 接将粗粒度向量与细粒度向量构成残差结构，输出得到包含粗细两种粒度的语义向量； 将语义向量输入全连接层得到每个单词的startlogit和endlogit；用粗粒度向量中每个序列的句向量获取classlogit；进行训练，且在在训练的过程中，用交叉熵损失 函数作为训练目标； 对于问题的可回答性，通过训练一个分类任务，赋予每个问题一个可回答分数；问题的 可回答性是二分类任务，在训练的过程中采用二分类的交叉熵损失函数； 得到分类分数； 得到跨度提取的分数； 所述和加和取均值得到最终的问题可回答性分数，如果该分数高 于阈值，则认为问题有答案，并把得到的跨度预测赋予该问题；相反，如果小于，则问题不可 回答。

全文数据：

权利要求：

百度查询： 重庆理工大学 基于残差结构和双向融合注意力的跨度提取阅读理解方法