申请/专利权人：浙江树人学院

申请日：2024-04-25

公开（公告）日：2024-06-28

公开（公告）号：CN118262750A

主分类号：G10L25/63

分类号：G10L25/63;G10L25/57;G10L25/30;G10L25/06

优先权：

专利状态码：在审-公开

法律状态：2024.06.28#公开

摘要：本发明公开了一种多模态会话情绪识别方法及装置、电子设备、存储介质，包括：获取多模态情感会话样本；提取样本的多种模态特征；构建并训练深度神经网络模型，深度神经网络模型包括多级注意力模块、多流图神经网络模块、说话者上下文编码器模块以及分段条件随机场模块，多级注意力模块包括自注意力模块和跨模态注意力模块，多流图神经网络模块包含三个结构相同的模态流图神经网络模块，模态流图神经网络模块包括图构建模块、图变换网络模块、图卷积模块、图转化器模块以及双向MOGLSTM模块；采用训练好的深度神经网络模型对多模态情感会话进行情绪识别。本申请采用深度神经网络模型，充分利用多模态情绪信息，提高会话情绪识别的效果。

主权项：1.一种多模态会话情绪识别方法，其特征在于，包括：获取用于训练和测试的多模态情感会话样本；对所述样本进行多模态特征提取，获取多种模态的特征，输入到深度神经网络模型中；构建并训练深度神经网络模型，所述的深度神经网络模型包括多级注意力模块、多流图神经网络模块、说话者上下文编码器模块以及分段条件随机场模块，所述的多级注意力模块包括自注意力模块和跨模态注意力模块，所述的自注意力模块用于提取初步融合的多模态融合特征后输入到跨模态注意力模块的说话者上下文编码器模块，所述的跨模态注意力模块用于强化各模态特征后输入到多流图神经网络模块，所述多流图神经网络模块包含多个结构相同的模态流图神经网络，所述的模态流图神经网络包括图构建模块、图变换网络模块、图卷积模块、图转化器模块以及双向MOGLSTM模块，所述的图构建模块用于构建话语关系图后输入到图变换网络模块，所述的图变换网络模块用于调节话语关系后输入到图卷积模块，所述的图卷积模块用于传播话语信息后输入到图转化器模块，所述的图转化器模块用于捕捉话语之间的相关性后输入到双向MOGLSTM模块，所述的双向MOGLSTM模块用于捕捉会话的上下文信息后输入到分段条件随机场模块，所述的说话者上下文编码器模块用于捕获说话者上下文信息后输入到分段条件随机场模块，所述的分段条件随机场模块用于聚合多流图神经网络模块和说话者上下文编码器模块的输出后进行序列标注，得到话语分类标签，作为会话情绪识别结果。采用训练好的深度神经网络模型对多模态情感会话进行情绪识别。

全文数据：

权利要求：

百度查询： 浙江树人学院 多模态会话情绪识别方法及装置、电子设备、存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD