申请/专利权人：山西大学

申请日：2024-04-08

公开（公告）日：2024-06-14

公开（公告）号：CN118193741A

主分类号：G06F16/35

分类号：G06F16/35;G06F16/36;G06F16/33;G06N5/022;G06N5/04;G06F18/25;G06F18/2415

优先权：

专利状态码：在审-公开

法律状态：2024.06.14#公开

摘要：本发明公开了一种融合多模态常识知识的反事实类隐式情感分析系统，属于计算机文本数据挖掘与隐式情感分析技术领域。针对现有技术方法和模型存在跨模态知识利用不足、反事实表示能力不足、大模型生成内容不稳定且可解释性差等问题，通过基于大语言模型自编码器对反事实文本序列进行编码，同时使用视觉编码器对反事实文本直接关联的图像进行编码，解决反事实表示能力不足的问题。设计多模态常识知识图谱学习模块，解决跨模态知识利用不足的问题。通过设计多模态交互融合的反事实语义增强模块，将多模态常识知识图谱和反事实语义相融合，实现对反事实隐式情感语义更深层次的理解和推断，从而提高反事实隐式情感分析的效果。

主权项：1.一种融合多模态常识知识的反事实类隐式情感分析系统，其特征在于，所述系统包括：反事实建模模块、多模态常识知识图谱学习模块、反事实语义增强模块和反事实隐式情感预测模块，其中：所述反事实建模模块包括：反事实文本序列s输入端口，基于大语言模型的自编码器，残差网络适配器层；图像输入端口，视觉语义编码器，用于语义对齐的适配器层；所述多模态常识知识图谱学习模块包括：多模态常识知识图，MCK-GCN模型；所述反事实语义增强模块包括：基于Transformer模型的多头自注意力层，基于注意力的融合层，常识知识子图及其适配器层，多模态知识子图及其适配器层；所述反事实隐式情感预测模块包括：情感分类层；所述情感分类层中包含线性神经网络层和全连接层；反事实建模模块通过基于大语言模型的自编码器、视觉语义编码器对反事实文本序列和与序列关联的多模态图像进行编码，并利用残差网络适配器层将文本和图像语义映射到统一的多模态语义空间进行融合，获取反事实文本序列表示；多模态常识知识图谱学习模块通过MCK-GCN对多模态常识知识进行学习，将文本知识和图像知识看作知识图中的节点，并将知识间的关系融入图学习过程中，获得多模态知识语义表示；反事实语义增强模块，从多模态常识知识图谱中匹配与反事实文本序列相关的常识知识子图和多模态知识子图，并通过适配器层将映射到统一的多模态语义空间，利用Transformer模型的多头自注意力层和基于注意力的融合层将反事实文本序列表示、常识知识子图信息、多模态知识子图信息进行融合建模，获得多模态知识增强的反事实隐式情感语义表示；最后通过反事实隐式情感预测模块预测序列中蕴含的反事实隐式情感，基于模型预测结果计算预测损失用于优化模型各模块的参数。

全文数据：

权利要求：

百度查询： 山西大学 一种融合多模态常识知识的反事实类隐式情感分析系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD