买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东北林业大学

摘要：基于Transformer的模态异质摘要情感分析系统，属于信息挖掘技术领域。为了解决传统模态融合方式的情感分析方法存在互补信息挖掘不充分的问题，进而导致了情感分析准确率欠佳的问题。本发明包括预训练特征提取模块、多模态摘要生成模块和模态融合模块；其中，预训练特征提取模块包括对文本进行标记和编码的文本特征提取单元，以及对语音进行离散化和编码的语音特征提取单元；多模态摘要生成模块首先对段落进行编码并构建一个表示句子间相似度的无向加权图，基于图卷积网络的聚类划分子图，利用图结构信息对句子进行编码；将图编码层和段落编码层得到的特征向量进行融合并生成摘要序列；模态融合模块基于摘要文本序列和语音特征进行情感分类。

主权项：1.基于Transformer的模态异质摘要情感分析系统，其特征在于，包括预训练特征提取模块、多模态摘要生成模块和模态融合模块；其中，所述预训练特征提取模块包括文本特征提取单元和语音特征提取单元；文本特征提取单元：对文本进行标记，并对标记后的文本进行编码得到Xα；由特征信息Xα所表示的文档数据发送到多模态摘要生成模块；语音特征提取单元：对语音进行离散化，并对离散后的语音进行编码得到Xβ；所述多模态摘要生成模块的处理过程以下步骤：S201、将文档数据集合切分为段落，并输入一个段落编码层，段落编码层利用Transformer对段落进行编码，从段落编码层的输出中提取句子，并构建一个表示句子间相似度的无向加权图G，表示摘要文本的句子间相似度关系；对图G进行基于图卷积网络的聚类算法处理，并将图G划分为若干个子图，每个子图代表一个主题或者一个观点；S202、将无向加权图的子图输入一个图编码层，利用图结构信息对句子进行编码；S203、将图编码层和段落编码层得到的特征向量进行融合，并输入一个带有注意力机制和指针网络的序列到序列模型，生成摘要序列；将多模态摘要生成模块生成的摘要序列记为Xα′；所述模态融合模块的处理过程包括以下步骤：针对特征矩阵表示的摘要文本序列Xα，和语音的Xβ，得到和分别对应表示文本和语音的Querys、Keys和Values矩阵，分别为对应的权重矩阵；通过多模态融合机制CMβ→α′，得到从β到α′的跨模态Attention输出，表示为Yα′：＝Tranβ→α,Xα,,Xβ，即： 其中，为尺度系数，Yα′与Qα,具有相同的长度；采用相同的方式，通过多模态融合机制CMα,→β，得到从α,到β的跨模态Attention输出，表示为Yβ：＝Tranα′→βXβ,Xα′；用Xcon表示Yα′、Yβ之一，或者Yα，、Yβ的融合特征，Xcon经过一维卷积层得到再输入到基于注意力的LSTM模块中；然后送入全连接层并经过softmax处理后输出情感结果。

全文数据：

权利要求：

百度查询： 东北林业大学 基于Transformer的模态异质摘要情感分析系统