申请/专利权人：电子科技大学

申请日：2022-05-27

公开（公告）日：2024-06-28

公开（公告）号：CN115146057B

主分类号：G06F16/35

分类号：G06F16/35;G06F40/211;G06F40/289;G06F40/30;G06F18/25;G06F18/2415;G06V10/77

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2022.10.25#实质审查的生效;2022.10.04#公开

摘要：本发明公开了基于交互注意力的供应链生态区图文融合情感识别方法，包括如下步骤：对供应链生态社区的图文评论数据集进行预处理，得到预处理后的图文数据集；建立基于BERT预训练的文本特征提取模型和基于Transformer的图像特征提取模型，通过文本特征提取模型提取出预处理后的图文数据集中文本特征，通过图像特征提取模型提取出预处理后的图文数据集中图像特征；将提取的图像特征和文本特征送入基于改进注意力机制的特征融合模块进行特征融合，得到图像和文本的融合特征向量；建立基于文本和图像的多模态情感分析模型，利用图像和文本的融合特征向量进行情感分析，得到情感分类。通过本发明，可以实现充分而且有效的融合不同模态之间的信息，提升情感分类的准确率。

主权项：1.基于交互注意力的供应链生态区图文融合情感识别方法，其特征在于，包括如下步骤：步骤一，对供应链生态社区的图文评论数据集进行预处理，得到预处理后的图文数据集；步骤二，建立基于BERT预训练的文本特征提取模型和基于Transformer的图像特征提取模型，通过文本特征提取模型提取出预处理后的图文数据集中文本特征，通过图像特征提取模型提取出预处理后的图文数据集中图像特征；步骤三，将提取的图像特征和文本特征送入基于改进注意力机制的特征融合模块进行特征融合，得到图像和文本的融合特征向量；步骤四，建立基于文本和图像的多模态情感分析模型，利用图像和文本的融合特征向量进行情感分析，得到情感分类；所述的将提取的图像特征和文本特征送入基于改进注意力机制的特征融合模块进行特征融合，得到图像和文本的融合特征向量，包括如下过程：所述的特征融合模块包括特征拼接层和特征融合层；所述的特征融合层包括注意力计算层、注意力融合层、输出层；所述的注意力计算层计算出文本特征和图像特征的注意力，分别得到基于文本特征的文本模态的注意力头的注意力矩阵，得到基于图像特征的图像模态的注意力头的注意力矩阵；所述的注意力融合层将得到的文本模态的注意力头的注意力矩阵和图像模态的注意力头的注意力矩阵，融合得到注意力头的权重矩阵；所述的输出层使用得到的融合注意力矩阵和BERT提取的文本特征相乘，便得到了文本输出特征向量，使用得到的融合注意力矩阵和BERT提取的图像特征相乘，得到图像输出特征向量，将文本输出特征向量与像输出特征向量进行拼接得到图像和文本的融合特征向量；所述的建立基于文本和图像的多模态情感分析模型，利用图像和文本的融合特征向量进行情感分析，包括如下步骤：以融合特征向量为输入，得到输出c：c＝WX其中W是全连接层的权值矩阵；然后对输出c，通过softmax计算得到不同情感的概率分布yt：yt＝softmaxc其中，softmax·为按列进行归一化的函数；对基于改进注意力机制的多模态情感分析模型的输出概率分布yt与数据的真实标签向量进行交叉熵损失函数计算，其计算公式为： 采用小批量梯度下降法训练该模型的参数，当模型产生的损失值满足设定要求或者达到最大迭代次数N，则终止该模型的训练，得到最终的情感分类。

全文数据：

权利要求：

百度查询： 电子科技大学 基于交互注意力的供应链生态区图文融合情感识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD