申请/专利权人：重庆大学

申请日：2022-01-19

公开（公告）日：2024-06-25

公开（公告）号：CN114510941B

主分类号：G06F40/295

分类号：G06F40/295;G06F40/211;G06F18/2415;G06N3/048;G06N3/0442;G06N3/045;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2022.06.03#实质审查的生效;2022.05.17#公开

摘要：本发明属于机器阅读理解技术领域，具体公开了一种基于线索的离散推理方法及系统，该系统包括编码模块、线索节点预测模块、推理模块和预测模块，编码模块用于提取文章和问题的词向量，线索节点预测模块用于预测已构建图中节点是否是线索节点，并在线索节点之间添加边，推理模块用于计算问题相关性得分和注意力权重系数，迭代更新节点特征向量，预测模块用于预测答案类型和答案。采用本技术方案，寻找文章中重要实体和数字，并在构建的关系网络图上挖掘推理信息，提高机器阅读理解中的离散推理能力。

主权项：1.一种基于线索的离散推理方法，其特征在于，包括如下步骤：获取文本，输入预训练模型，进行编码，提取文章和问题的词向量；利用命名实体识别工具确定问题和文章中包括的各实体和各数字节点，以及各数字分别对应的类型；根据词向量确定问题的特征向量，以及关系网络图中各节点的初始特征向量,问题对应词向量进行平均池化获得问题特征向量，节点对应词向量进行平均池化获得节点初始特征向量；将节点初始特征向量和问题特征向量输入线索节点预测器，预测节点是否为线索节点，以实体和数字为节点的异构关系图为基础，在线索节点之间添加边，获取新的异构关系图；基于节点特征向量，计算问题相关性得分，构建所有节点间的相关性矩阵，度量节点间的相关性；利用相关性矩阵，计算注意力权重系数，调整注意力分布；根据节点的邻居节点的注意力权重系数，对各邻接节点的特征向量进行加权求和，基于求和结果更新特征向量；预设迭代次数，根据预设数迭代后该节点的更新特征向量，更新问题和文章对应的词向量特征；将更新后的问题和文章对应的词向量输入分类模型中，得到预测答案类型和答案；预测线索节点的方法如下：利用图节点对应的词向量的池化特征作为节点的初始化特征向量，问题对应的词向量的池化特征作为问题的特征向量；利用远程监督方法训练一个线索节点预测器，在线索节点之间添加边，增加线索节点之间的邻接关系；将包含问题相关实体的句子中所有实体和数字对应节点作为线索节点；包含答案的句子中所有实体和数字对应节点作为线索节点；以及能计算得到答案的至多3个数字对应的节点作为线索节点；使用线索节点预测器预测线索节点，在线索节点之间添加边，同时将线索分布特征融入节点特征向量：Pi＝SoftmaxMLPq；hihi＝LNhi+pihi其中，q是问题特征向量，hi是节点特征向量，MLP是一个全连接网络，Pi是节点i是否为线索节点的概率分布，pi为该节点是线索节点的概率，LN是一个层标准化；利用图信息帮助词向量进行答案预测，将图信息和词向量信息进行融合： 其中，Mi表示每个语义单元的词特征向量，Ji表示第i个语义单元对应图节点的索引，U用于预测模块预测答案类型和答案，是节点特征向量；预测模块包含五种不同答案的答案预测器和一个答案类型预测器：HQ,HP＝U其中，HQ和HP是融合后的问题和文章中每个词的特征向量联合；计算答案类型的概率分布：αp＝softmaxWpHPhp＝∑αpHPαq＝softmaxWqHQhq＝∑αqHQPtype＝softmaxFFN[hq；hp]αp，αq是文章和问题的每个词的权值分布，hQ,hP是问题和文章的词向量加权求和得到的综合特征向量，FFN表示前馈神经网络，Softmax表示一个激活函数；文章片段：从文章中抽取一个片段作为答案，计算答案在文章中的开始位置和结束位置的概率如下： 其中，是文章中每个词的答案起始位置和答案终止位置的概率，m表示文章长度，f表示线性变换；问题片段：从问题中抽取一个片段作为答案，计算答案在问题中的开始位置和结束位置的概率如下： 多片段：从问题和文章中抽取多个片段作为答案，用BIO标记法对问题和文章的每个词进行标记，其中，B表示某个片段的开始，I表示某个片段的中间，O表示不在片段中，最终答案是标记为BI的片段集合；计算问题和文章中每个词为BIO标记的概率分布如下： 其中，表示第i个词的BIO标记的概率分布，hi表示问题和文章联合表示HQ,HP中第i个词的特征向量，f表示输出三分类的线性变换；计数：输出一个0至9的数字作为答案，该任务常常作为十分类任务进行处理，计算数字的概率分布如下：Pcount＝softmaxFFNhp；hq计算表达式：从文章中抽取的数字组成一个表达式，表达式计算结果作为答案，表达式中第i个数字的符号-1，0，+1的概率分布如下： 其中，表示第i个数字在文章表示HP中的词向量；使用多任务联合训练一个线索预测器和阅读模型，对应线索预测任务，使用交叉熵损失进行训练： pk是第k个节点作为线索节点的概率，yk是第k个节点的标签；对于阅读模型，答案的概率由下述计算： Τ表示答案类型；采用边缘似然目标函数训练阅读模型，表示为Lans，最终的损失为：L＝Lans+λLevi。

全文数据：

权利要求：

百度查询： 重庆大学 基于线索的离散推理方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD