龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：南开大学
摘要：本发明公开了一种基于事实和情感对立性的多模态反讽检测方法，步骤1、获得待检测数据元组包括文本和图像，通过两个特征提取分支获得图像特征数据和文本特征数据；步骤2、利用隐式的跨模态注意力机制实现特征对齐处理；步骤3、实现多模态数据的语义和情感不一致性建模；步骤4、计算语义不一致性；步骤5、获得图像特征与文本特征情感极性的差值；步骤6、基于图像特征与文本特征情感极性的差值和不一致性值进行反讽检测，得到检测结果。与现有技术相比，本发明在利用多模态反讽检测数据集上表现出了优秀的预测性能，超过了所有现有的方法。本发明可以精确对给定图像是否属于讽刺情感类别进行检测。
主权项：1.一种基于事实和情感对立性的多模态反讽检测方法，该方法具体包括以下步骤：步骤1、获得待检测数据元组，包括文本和图像，通过两个特征提取分支获得图像特征数据和文本特征数据；步骤2、将从步骤1获得的图像特征数据和文本特征数据分别作为两个模态，利用隐式的跨模态注意力机制实现两个模态间的特征对齐处理，得到对齐的图像特征和对齐的文本特征，继而归并到同一特征空间；步骤3、基于步骤2中对齐的图像特征和对齐的文本特征分布实现多模态数据的语义和情感不一致性建模；步骤4、将对齐的图像特征和对齐的文本特征输入步骤3的语义不一致性模型，通过该模型进行处理，获得增强后的讽刺图像特征和增强后的讽刺文本特征，基于获得的所述增强后的图像特征和所述增强后的文本特征的相似性，分别计算其属于讽刺数据高斯分布与非讽刺数据高斯分布的概率，得到语义不一致性；步骤5、从情感词典引入情感信息，通过连续对比学习进一步增强图像情感特征，获得图像特征与文本特征情感极性的差值作为情感不一致性；步骤6、基于步骤4和步骤5的图像特征与文本特征语义和情感极性的差值和不一致性值进行反讽检测，得到检测结果。
全文数据：
权利要求：
百度查询： 南开大学 一种基于事实和情感对立性的多模态反讽检测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号