买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜四川大学申请的专利一种基于双过程认知理论的知识图谱视觉问答方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115186072B 。

龙图腾网通过国家知识产权局官网在2025-05-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202110374169.3，技术领域涉及：G06F16/332；该发明授权一种基于双过程认知理论的知识图谱视觉问答方法是由何小海;刘露平;王美玲;卿粼波;陈洪刚;吴小强;滕奇志设计研发完成，并于2021-04-07向国家知识产权局提交的专利申请。

本一种基于双过程认知理论的知识图谱视觉问答方法在说明书摘要公布了：本发明公开了一种基于双过程认知理论的知识图谱视觉问答方法，包含以下步骤：1问题‑图片联合表征，对输入问题和图片，使用预训练模型BERT和Faster‑RCNN分别提取问题和图片特征，然后送入双流Transformer模型学习问题‑图片的联合表征；2事实图和语义图构建，针对每个问题‑图片对，分别构建事实图和语义图，事实图基于语义匹配的方式从知识库中检索事实构建，语义图通过图像描述方式构建；3证据聚合，首先利用图推理网络从两个图中分别选择证据，然后基于跨模态图推理网络从语义图中聚合证据到事实图；4答案推理，事实图中的节点进行二分类得到答案。本发明的方法在教育、娱乐等领域有广阔应用前景。

本发明授权一种基于双过程认知理论的知识图谱视觉问答方法在权利要求书中公布了：1.一种基于双过程认知理论的知识图谱视觉问答方法，其特征在于，包括以下步骤：1分别使用文本预训练模型BERT和目标检测模型Faster-RCNN对输入文本和图片进行特征提取，针对文本，在每个句子开头和结束位置分别添加[CLS]和[SEP]标志，然后送入BERT模型进行特征提取；针对每张图片，提取36个目标区域，每个目标区域包含一个对象的外观视觉特征以及对象在图中的空间位置特征信息；2将提取好的图片和文本特征送入一个双流的Transformer网络来学习图片和文本的联合表示，其中一个单流的Transformer网络用于学习图片引导下的问题表征，而另外一个单流的Transformer模型用于学习问题引导下的图片表征，最后将两个双流的Transformer网络的输出经过平均池化后进一步进行相乘得到问题-图像的联合表征；3事实图和语义图的构建，针对每个问题-图片对，分别构建事实图和语义图，其中事实图通过基于句子级别语义匹配的方式从外部知识库中检索备选支撑事实来构建，而语义图则首先通过对图片进行语义描述，然后对生成的句子进行语义解析后构建；4基于图推理的证据聚合，首先对事实图和语义图在模态内进行证据聚合，通过节点级别注意力计算图中每个节点与问题-图片联合表征的注意力得分，然后将该注意力得分乘以图中每个节点的初始特征向量得到基于图片-问题引导后的节点特征向量，再通过路径节点注意力计算哪条路径对推理过程更加重要；接着根据消息传播网络从邻居节点聚合特征，最后将邻居节点的特征与目标节点的特征进行融合后进一步更新目标节点的特征，为了防止邻居节点的特征对节点初始特征的过度更新，设计了一个门控机制来控制邻居节点特征与目标节点原始特征的占比；然后进行模态间的证据聚合，首先在问题的引导下，计算事实图中每个节点与语义图中每个节点的注意力权重系数，最后根据该注意力权重系数对语义图中的每个节点进行加权求和后得到语义图中的相关特征；最后将语义图中的特征向量与事实图中原始节点的特征向量进行融合后得到跨模态融合后更新的特征，同样为了防止来自语义图中的特征对事实节点特征的过度更新，设计相应的门控机制来控制两种不同模态特征所占的比例，将更新后的特征用于答案的推断；5答案预测，将问题-图片的联合表征与事实图中每个节点的特征向量进行点乘计算后得到每个节点与问题的语义匹配度得分，最后将该匹配度得分送入一个Sigmoid层预测相应的答案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川大学，其通讯地址为：610065 四川省成都市武侯区一环路南一段24号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。