买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜成都信息工程大学申请的专利一种基于跨模态特征互补和有向图学习的多模态对话情感识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119181045B 。

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411291553.7，技术领域涉及：G06V20/40；该发明授权一种基于跨模态特征互补和有向图学习的多模态对话情感识别方法是由郑文斌;彭君印;安俊秀设计研发完成，并于2024-09-14向国家知识产权局提交的专利申请。

本一种基于跨模态特征互补和有向图学习的多模态对话情感识别方法在说明书摘要公布了：本发明公开了一种基于跨模态特征互补和有向图学习的多模态对话情感识别方法，涉及对话情感识别技术领域，所述方法包括：获取视频对话数据，对所述视频对话数据进行特征提取，获得第一特征；对所述第一特征进行编码，获得第二特征；基于所述第二特征构建跨模态异构图，基于所述跨模态异构图获得注意力权重；基于所述注意力权重对所述跨模态异构图进行更新，获得最终跨模态异构图，提取所述最终跨模态异构图的互补特征信息，基于所述互补特征信息，对所述最终跨模态异构图的特征进行融合获得增强特征；基于所述增强特征构建多模态有向图；基于所述多模态有向图获得情感特征，将所述情感特征传输至预训练情感分类器进行预测，获得预测情感结果，可以解决现有ERC方法中多模态数据融合中的冲突和异构性、以及忽略各模态之间的相互作用，导致模态信息丢失、模态融合不充分的问题。

本发明授权一种基于跨模态特征互补和有向图学习的多模态对话情感识别方法在权利要求书中公布了：1.一种基于跨模态特征互补和有向图学习的多模态对话情感识别方法，其特征在于，所述方法包括：获取视频对话数据，对所述视频对话数据进行特征提取，获得第一特征；对所述第一特征进行编码，获得第二特征；基于所述第二特征构建跨模态异构图，基于所述跨模态异构图获得注意力权重；基于所述注意力权重对所述跨模态异构图进行更新，获得最终跨模态异构图，提取所述最终跨模态异构图的互补特征信息，基于所述互补特征信息，对所述最终跨模态异构图的特征进行融合获得增强特征；基于所述增强特征构建多模态有向图；基于所述多模态有向图获得情感特征，将所述情感特征传输至预训练情感分类器进行预测，获得预测情感结果；构建多模态有向图的具体步骤包括：基于所述增强特征获得话语节点，基于所述话语节点获得话语边和所述话语边的关系类型，所述话语节点包括文本话语节点、视频话语节点和音频话语节点，话语边包括不同模态的话语节点之间的外部边和同一模态的话语节点之间的内部边，所述边的关系类型包括外部边类型和内部边类型；基于所述话语节点的时间顺序，控制所述话语节点的M个过去话语节点和N个未来话语节点，获得所述多模态有向图，M和N均表示大于或等于1的整数；获得情感特征的具体步骤包括：提取所述话语节点中内部节点之间和相邻所述话语节点之间的依赖关系，获得第三特征；基于所述第三特征，提取所述多模态有向图的局部信息和全局信息，获得第四特征；将所述第四特征进行邻居采样和聚合，获得所述情感特征；获得第三特征的第一计算公式为： 其中，表示第三特征，ωtop和ωt均表示可学习参数，表示话语节点的特征，Pti表示在关系t∈R下节点的邻居索引的集合，|Pti|表示归一化常数，表示节点的邻居节点的特征，η表示三种不同的模态，包括文本模态、视频模态和音频模态，i和m均表示序号。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人成都信息工程大学，其通讯地址为：610225 四川省成都市西南航空港经济开发区学府路1段24号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。