买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜昆明理工大学申请的专利一种基于一致性约束图卷积网络的多模态情绪识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115438750B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211272982.0，技术领域涉及：G06F18/214；该发明授权一种基于一致性约束图卷积网络的多模态情绪识别方法是由相艳;谭晓聪;郭军军;王红斌设计研发完成，并于2022-10-18向国家知识产权局提交的专利申请。

本一种基于一致性约束图卷积网络的多模态情绪识别方法在说明书摘要公布了：本发明涉及一种基于一致性约束图卷积网络的多模态情绪识别方法，属于情绪识别技术领域。目前大多数多模态研究主要集中在通过特征拼接来简单地建模多模态信息，或者使用图卷积网络来学习不同话语样本和带有情感标签的分类特征；本发明以话语为节点，根据两个节点之间的不同模态关系构建图卷积网络，同时，将同一说话者在对话中的一致性损失和同一话语中不同模态特征的一致性损失作为正则项添加到模型损失中，通过这样做，本发明对应模型调整了话语特征来更好地预测情绪类别。在两个公共基准数据集IEMOCAP和MELD上评估了本方法，结果表明，在多模态会话环境下，本方法优于其他方法。

本发明授权一种基于一致性约束图卷积网络的多模态情绪识别方法在权利要求书中公布了：1.一种基于一致性约束图卷积网络的多模态情绪识别方法，其特征在于：所述方法包括如下步骤：Step1、对数据集进行预处理；Step2、对不同的模态信息进行编码；Step3、构建图卷积网络的基本架构，其中包括邻接矩阵的节点与边；Step4、对图的特征进行学习；Step5、提取说话人级别的一致性约束；Step6、提取不同模态间的一致性约束；Step7、将经过图卷积网络的特征送入情绪分类器，得到节点的情绪分类；所述Step3包括构建图卷积网络邻接矩阵的图节点，构建图卷积网络邻接矩阵的边；对于节点采用句子级来表示，在对话的数据集中，把每个对话中的每个话语作为每个节点，在多模态的表示下，每一句话分别有三种模态的表示，所以有N个话语时，有3N个节点；所述Step4中，根据节点之间边的权重计算方法构建邻接矩阵后，对于节点的某种模态特征，构建3种邻接矩阵来进行特征传递和学习；对于节点的某种模态特征，分别考虑此某种模态特征与其自身模态以及另外两个模态的关系来构建，其中，节点的模态包括语音模态、文本模态、图像模态；所述Step5中，关于说话人级别的一致性约束，在经过l层的deepGCN模型编码后，每个节点都融合了其他节点的多种模态信息；假设数据集中有M个说话人，第m个说话人在同一个对话中有K句utterances，同一个说话人不会出现在两个dialogue中，即有K个图卷积特征向量，设定第m个说话人的第k句utterance的图卷积特征向量表示为将这K个节点特征向量进行拼接，得到该说话人的特征矩阵然后进行meanpooling操作，得到该说话人的平均特征向量 其中·表示点积运算，||·||表示l2向量的范数，dl为一限定维数，然后，计算了数据集的总说话者一致性损失Lspk： 所述Step6中，关于模态间的一致性约束，以文本模态特征为基准，使语音模态特征和图像模态特征接近于文本模态特征；具体来说，计算了ui的语音特征、图像特征和文本特征之间的余弦相似度，并将其作为一种一致性损失： 然后，对数据集中话语的一致性损失进行总结，得到总的模态一致性损失： 为l+1层的语言模态的特征表示，为l+1层的文本模态的特征表示，为l+1层的图像模态的特征表示，ui第i个utterance。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人昆明理工大学，其通讯地址为：650500 云南省昆明市呈贡区景明南路727号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。