买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜杭州电子科技大学申请的专利一种基于知识图谱和跨模态注意力的多模态反讽检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114330334B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111650030.3，技术领域涉及：G06F40/284；该发明授权一种基于知识图谱和跨模态注意力的多模态反讽检测方法是由汤景凡;崔硕;张旻;姜明设计研发完成，并于2021-12-30向国家知识产权局提交的专利申请。

本一种基于知识图谱和跨模态注意力的多模态反讽检测方法在说明书摘要公布了：本发明公开了一种基于知识图谱和跨模态注意力的多模态反讽检测方法。本发明根据Bert模型构建跨模态注意力特征向量，以及运用多模态知识图谱来获取外部信息，并对外部信息进行筛选。跨模态注意力构建的是音频信息与文本句信息以及情感值向量三者的关系，通过音频信息向量与情感值向量之间的联系与影响来计算注意力，以此来关注句中的矛盾表达。而外部知识信息的筛选，则是运用文本抽取的信息与知识图谱检索的外部信息相似度进行。最后将获取的各个类型的特征向量，输入到分类层进行分类。本发明能够很好解决了不同模态信息的融合问题，能够关注句内的矛盾也能提取不同模态的不一致性特征，能够提高反讽检测任务的准确性。

本发明授权一种基于知识图谱和跨模态注意力的多模态反讽检测方法在权利要求书中公布了：1.一种基于知识图谱和跨模态注意力的多模态反讽检测方法，其特征在于包括如下步骤:步骤1根据输入的文本信息T构建初始化词嵌入向量TokenEmbedding和位置编码向量PositionEmbedding，并将词嵌入向量和位置向量作为Bert预训练模型的输入，训练后得到句子向量Ht；步骤2对输入的音频信息V依据文本信息T进行切分，并对切分后的每一段音频信息运用OpenSmile进行编码，得到音频信息特征向量Hv；步骤3对输入的视频帧信息G运用ResNet进行编码，并通过全连接层进行维度变换，得到视频帧特征向量Hg；步骤4对输入的文本信息T根据外部情感词典，查询文本信息T中每个词的情感值，并构建情感值特征向量Hs；步骤5根据步骤124所获取的三种向量，构建跨模态注意力，获得跨模态注意力向量Hatt；步骤6将视频帧信息G输入到多模态知识图谱中，获取与视频帧信息G有关的外部知识信息，构建外部知识向量并进行筛选，得到与上下文相关的外部知识向量Hk；步骤7将跨模态注意力向量Hatt、视频帧特征向量Hg与相关的外部知识向量Hk连接，输入到分类器SoftMax中，来判断输入信息是否为讽刺信息；所述步骤5具体实现过程如下：为了融合音频信息与文本信息以及情感值特征向量，构建跨模态注意力向量，其表达式为： 其中WK、WQ、WV为注意力机制需要学习的参数，d为词嵌入向量TokenEmbedding的维度；所述步骤6具体实现过程如下：6-1将视频帧信息输入到外部多模态知识图谱MMKG中，检索后得到多个外部知识，即多个三元组{e1,e2,…,en}，其中ei表示第i个三元组，并运用bert进行编码，其过程表达如下： 其中表示第i个三元组的编码，和为第i个三元组中的实体，为俩实体间的关系；6-2对外部知识向量进行筛选；首先，运用当前主流的三元组抽取模型，对本文信息T进行三元组抽取，得到文本信息的三元组为{e1,e2,…,ek}；经bert编码后得到文本信息的三元组向量，其表达式如下： 其中表示第i个三元组的编码，和为第i个三元组中的实体，为俩实体间的关系；6-3计算中的三元组向量与中的三元组向量的相似度，以筛选部分外部知识向量，其过程如下式： 其中与分别表示三元组向量与Cos_Simij为它们之间的余弦相似度值；只要相似度在指定阈值范围内，就会保留对应的外部知识向量，将筛选过的知识向量记为Hk＝{[eh1,r1,et1]1,…,[ehl,rl,etl]l}。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。