买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：新疆大学

摘要：用于多模态隐喻检测的模态表征分解方法，属于自然语言处理的技术领域。该方法通过不同的Projector将每个模态表征分解为一致性特征和差异性特征。然后，利用设计的对比学习框架为模态的一致性特征和差异性特征学习提供更为全面的视角。同时，为了保留与隐喻检测任务相关模态特异性信息，设计了多任务学习框架，该任务依赖于每个模态的分解表征，使模型能够从单模态预测中进行学习，减少特异性隐喻信息丢失。通过精心设计的对比学习和多任务学习联合框架，确保所有模态中的特征都能够在多个训练路径中得到充分的调整和优化。

主权项：1.用于多模态隐喻检测的模态表征分解方法，其特征在于，包括以下步骤：给定一条包含文本内容T、配图P以及一个二元真值标签y的数据，其中y＝0和y＝1代表该多模态数据是否具有隐喻用法，通过学习一个映射函数F:FT,P→y^去预测给定的图文内容是否包含隐喻信息；S1.泛知识表征：使用预训练的RoBERTa和ViT模型作为文本和图像泛知识表征提取器，定义如下： 其中，nt表示文本的长度，表示RoBERTa模型的参数；ni表示图像patch的个数，表示ViT模型的参数；S2.模态一致性和差异性表征：给定模态m的特征编码Sm,，使用不同的Projector将其分解为一致性和差异性；每个Projector由归一化层、Tanh激活的线性层和dropout层组成； 其中，m∈{t,v}是模态的类型，d∈{simi,spec}分别表示一致性和差异性，为每种模态分配单独的参数；S3.跨模态融合将每种模态的一致性特征和差异性特征连接起来，通过全连接层进行模态内部融合； 其中，m∈{t,v}，MLP表示全连接层，表示该层的参数；通过并行连接两个跨模态注意力来实现多模态特征融合；给它们赋予不同的特征输入，分别计算Q、K和V；该融合层通过交换输入模态的信息来模拟输入模态之间的密集交互；计算如下： 其中，dh表示模态的特征维度，Atts表示注意力分数；通过模态间注意权重更新原始单模态嵌入向量以获得显式相关特征： 最后将跨模态交互后的表征连接在一起输入全连接层得到融合表示：Sco＝MLPconcatSt←v,Sv←t；θco其中，Sco是联合特征S4.分类层使用带有softmax激活的MLP层将向量Sco映射到隐喻类别和非隐喻类别的目标空间中，并获得模型预测的概率： 其中Wmulti是将融合特征映射到类别的学习权重矩阵，bmulti是偏差项。

全文数据：

权利要求：

百度查询： 新疆大学 用于多模态隐喻检测的模态表征分解方法