申请/专利权人：南开大学

申请日：2021-10-29

公开（公告）日：2024-06-07

公开（公告）号：CN114048286B

主分类号：G06F16/33

分类号：G06F16/33;G06F16/35;G06F16/9536;G06F40/211;G06F40/295;G06F18/24;G06N3/042;G06N3/0455;G06N3/08;G06Q50/00

优先权：

专利状态码：有效-授权

法律状态：2024.06.07#授权;2022.03.04#实质审查的生效;2022.02.15#公开

摘要：一种融合图转换器和共同注意力网络的自动事实验证方法，属于人工智能技术领域。利用声明和检索到的证据作为输入数据，构建基于深度学习的自动事实验证方法。本方法首先通过实体链接的方法识别声明中的实体，并根据抽取的实体在维基百科中检索相关的文档。其次，使用排序模型在检索到的文档中选取与声明最相关的五个句子作为证据。再者，构建证据，声明对，将证据，声明对输入微调后的预训练语言模型中进行编码。最后，通过构建基于图转换器和共同注意力网络的事实验证模型，学习声明和证据以及证据和证据之间的潜在关系，完成事实验证。实验结果表明，本方法优于目前已有的自动事实验证方法，同时此方法具备可解释性。

主权项：1.一种融合图转换器和共同注意力网络的自动事实验证方法，该方法首先使用微调的预训练语言模型对证据和声明进行编码以获得一个较好的初始表示，其次通过图转换器来学习证据间的依赖关系更新证据的表示，再者通过双层的共同注意力网络对证据和声明间的关系进行推理，最后使用线性层进行分类；该方法的具体步骤如下：第1、获取事实验证数据集；第2、根据声明检索相关的文档；第3、使用排序模型在检索到的文档中抽取与声明最相关的至多5个句子作为证据；第4、使用微调的BERT系列预训练语言模型进行编码；第5、构建事实验证模型；事实验证模型为融合图转换器和共同注意力网络的深度模型，该模型将事实验证视为自然语言推理任务；首先通过构建图转换器来学习证据间的潜在关系并更新证据的表示，之后将图转换器的输出和声明编码器的输出作为双层注意力网络的输入进行推理；具体构建如下：第5.1、使用图转换器来学习证据间的隐含关系；首先将证据，声明对和声明作为顶点vi，构建全连接的、无向的、无权重的证据图G，图的顶点集合为V＝[vi],vi∈Rd，将证据图G输入图转换器中学习证据间的隐含关系，获取顶点的表示，即证据的表示：图转换器是transformer网络在图数据结构上的一种应用，计算方式与transformer网络相似；通过计算节点与相邻节点的相似性，得到加权权重对相邻节点特征的加权求和得到GraphAttention的输出结果；图转换器同样的利用了多头注意力机制，将所有的Attention结果的输出串联后做映射，并与输入相加得到Attention模块输出 其中N表示N个头的注意力，⊕表示将N个注意力头生成的特征进行串联，表示节点i的相邻节点集合，为权重矩阵，表示第n个头关于节点vi和vj的注意力，由以下公式给出： an表示第n个头的注意力，为了使梯度稳定，进行了归一化即除以对于任意两个向量qi和kj，a由以下公式给出： gvi，vj＝WQviTWKvj其中WQ∈Rd×d、WK∈Rd×d为权重矩阵；FeedForward网络计算方式如下： 其中Norm为LayerNormalization即层归一化，FFN为一个双层感知机网络，为节点vi经过一个模块的输出；图转换器通过堆叠L个以上公式所述的模块来得到最终编码结果第5.2、对声明进行编码；使用声明编码器对声明进行编码，使用微调后的预训练语言模型对声明进行编码，取状态[CLS]作为声明的表示：ci＝PLMci其中PLM为微调后的预训练语言模型，ci为第i个声明；第5.3、构建双层的共同注意力网络来进一步推理声明和证据间的关系；首先从图转换器和声明编码器获取双层注意力网络第一层的输入和 其中表示e个证据和一个声明经过图转换器编码后的结果，为声明编码器的编码结果；第一层共同注意力网络首先计算两者间的关联矩阵M1： 注意力权重和分别为矩阵M1的列向量归一化和行向量归一化；之后，分别根据声明和证据的注意力权重矩阵计算声明和证据的内容矩阵和 根据证据的内容矩阵和声明的注意力矩阵计算声明关于证据的共同注意力矩阵 以上描述了单层的共同注意力网络的推理过程，一层共同注意力网络用下式表示： 为了构建两层的共同注意力网络，将第一层共同注意力网络的输出和输入双向biLSTM中获取第二层共同注意力网络的输入和 其中h为biLSTM的隐藏状态的大小，M2为第二层的关联矩阵，其值可以反映每个证据和声明之间的相关性；将两层共同注意力网络的输出进行拼接并输入biLSTM中得到矩阵U： 第6、融合图转换器和共同注意力网络，通过深度神经网络模型进行验证。

全文数据：

权利要求：

百度查询： 南开大学 一种融合图转换器和共同注意力网络的自动事实验证方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD