买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津大学

摘要：本发明公开一种基于图的全局语义感知的多模态反讽检测方法。文本特征和图像特征作为单模态图生成模块的输入；构建单模态图生成模块；获得文本图特征和视觉图特征作为文本引导的图融合模块的输入；文本图特征和视觉图特征输入到文本引导的图融合模块中进行训练，使得损失函数最小，得到文本模态和视觉模态融合后的多模态图；将融合后的多模态图投影到语义空间；将测试样本输入到语义空间，通过K最邻近算法选择K个语义最相关的样本，最后通过投票机制完成讽刺检测。创新地引入了利用全局语义一致性的新范式和基于标签的图对比学习能够辅助讽刺检测模块提取到语义特征以及利用全局语义一致性信息。

主权项：1.基于图的全局语义感知的多模态反讽检测方法，其特征在于，包括如下步骤:S1对于数据集中的每一文本-图像对（T,I），使用预训练的BERTbase模型将文本T转换为token序列，调整图像I大小并划分成r个图像块得到块序列，将输入在ImageNet-1k上预训练的具有两个多层感知器的ViT-B32模型获得图像特征，文本特征和图像特征作为单模态图生成模块的输入；S2构建单模态图生成模块；S3将所述步骤S1中的文本特征和图像特征分别输入至单模态图生成模块，获得的文本图特征和视觉图特征；S4构建文本引导的图融合模块；S5将所述步骤S3中获得的文本图特征和视觉图特征输入到所述步骤S4中构建的文本引导的图融合模块中进行训练，使得文本引导的图融合模块的损失函数最小，得到文本模态和视觉模态融合后的多模态图；S6将所述步骤S5得到的文本模态和视觉模态融合后的多模态图投影到语义空间训练，得到训练完成的图融合模块的语义空间；S7将测试样本输入到所述步骤S6中的图融合模块的语义空间，通过K最邻近算法选择K个语义最相关的样本，最后通过投票机制完成基于文本图像对的讽刺检测；所述步骤S4构建文本引导的图融合模块包括两个部分：模态融合和文本表示增强与降维；1模态融合模态融合选用M个堆叠交叉注意力层对齐和融合文本、图像模态，文本图结点作为query以捕捉视觉图结点中的矛盾情感，在每一交叉注意力层，和作为交叉注意力模块的输入，计算公式为： （1）其中，d为投影矩阵的维度，，和分别为query,key和value投影矩阵；省去交叉注意力层的残差连接和层归一化以简化模型，获取到最后一个注意力层的结点表示为，其中s表示输出节点个数；由于融合过程使用文本引导的图融合模块，将文本作为query，所以这里的s和文本图特征中s的大小一致；2文本表示增强与降维使用残余文本注意力获得讽刺分类的最终图形表示，计算公式为： （2） （3） （4） （5）其中，为文本增强后的文本图表示，为最后一个注意力层的第i个结点，为第i个文本图表示，和为注意力学习参数，和为偏置常数，为归一化后的文本图表示，[,]表示连接操作，GELU是激活函数，为偏置常数，，为使用残余文本注意力获得讽刺分类的最终图形表示。

全文数据：

权利要求：

百度查询： 天津大学 基于图的全局语义感知的多模态反讽检测方法