龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：福州大学
申请日：2024-03-05
公开（公告）日：2024-06-25
公开（公告）号：CN118246456A
主分类号：G06F40/30
分类号：G06F40/30;G06F40/289;G06F18/25;G06F40/284
优先权：
专利状态码：在审-公开
法律状态：2024.06.25#公开
摘要：本发明涉及一种基于一致性感知的多模态情感分析方法及系统，该方法包括：A、使用预训练模型初始化评论文本表示和方面词表示，并使用ResNet初步提取图片特征表示；B、构建一致性感知模型，并以步骤A得到的数据进行模型训练；一致性感知模型依据句法依赖关系、成分树结构确定多层图注意力网络中边关系邻接矩阵；构建多粒度视觉‑文本交互模块，获得多粒度文本‑视觉融合特征表示；构建一致性学习模块，输出方面特定的图片情感文本化表示；最后融合多粒度视觉‑文本交互模块以及一致性学习模块的输出，作为方面词情感表示；C、使用方面词情感表示，预测该方面词对应的情感极性。该方法及系统有利于提高多模态方面提取和情感分析答案预测的准确性。
主权项：1.一种基于一致性感知的多模态情感分析方法，其特征在于，包括以下步骤：步骤A：使用预训练模型初始化评论文本表示r和方面词表示a，并且使用ResNet初步提取图片特征表示I；步骤B：构建一致性感知模型，所述一致性感知模型将步骤A得到的评论文本表示和图片特征表示作为输入，进行模型训练；一致性感知模型依据句法依赖关系、成分树结构确定多层图注意力网络中边关系邻接矩阵；构建多粒度视觉-文本交互模块，基于邻接矩阵，使用多模态注意力机制，分别获得不同粒度的联合文本视觉特征表示；借助多层图注意力网络融合不同粒度的联合文本视觉特征表示，最终获得多粒度文本-视觉融合特征表示；构建一致性学习模块，依据图片特征表示，使用Sentibank解析出多个ANP对，并使用ClipCap生成图片标题T；使用面向方面词的选择策略，基于ANP对和图片标题，根据相关性构建正负样本；通过监控损失的方式训练一致性感知模型，分析两个模态之间的相关性，过滤无关信息，输出方面特定的图片情感文本化表示，以此辅助多模态方面级情感极性的判断；融合多粒度视觉-文本交互模块输出的多粒度文本-视觉融合特征表示以及一致性学习模块输出的方面特定的图片情感文本化表示，作为方面词情感表示aj；步骤C：使用方面词情感表示aj，预测该方面词对应的情感极性。
全文数据：
权利要求：
百度查询： 福州大学 基于一致性感知的多模态情感分析方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号