首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种多模态情感识别系统及方法 

申请/专利权人:南京龙垣信息科技有限公司

申请日:2024-04-18

公开(公告)日:2024-06-28

公开(公告)号:CN118260638A

主分类号:G06F18/24

分类号:G06F18/24;G06F18/25;G06N5/01;G06V40/16;G10L25/63

优先权:

专利状态码:在审-公开

法律状态:2024.06.28#公开

摘要:本发明涉及数据处理技术领域,具体涉及一种多模态情感识别系统及方法;包括数据收集模块、数据处理模块、语音情感分析模块、图像情感分析模块、情感融合模块和识别输出模块;数据处理模块用于对语音数据和图像数据进行处理;语音情感分析模块用于使用深度学习模型识别情感状态;图像情感分析模块用于使用深度学习模型识别面部表情和情感状态;情感融合模块用于对语音情感分析模块和图像情感分析模块识别出的情感状态进行融合;通过将语音和图像情感分析的结果进行融合,提供了更准确的情绪识别,综合考虑语音和图像两方面的信息,有助于消除单一模态的局限性,实现提高情感识别的可靠性和鲁棒性。

主权项:1.一种多模态情感识别系统,其特征在于,包括数据收集模块、数据处理模块、语音情感分析模块、图像情感分析模块、情感融合模块和识别输出模块,所述数据处理模块与所述数据收集模块连接,所述语音情感分析模块和所述图像情感分析模块分别与所述数据处理模块连接,所述情感融合模块分别与所述语音情感分析模块和所述图像情感分析模块连接,所述识别输出模块与所述情感融合模块连接;所述数据收集模块用于采集语音数据和图像数据;所述数据处理模块用于对语音数据和图像数据进行处理,处理过程包括去噪、特征提取和图像增强;所述语音情感分析模块用于根据处理后的语音数据,使用深度学习模型识别情感状态;所述图像情感分析模块用于根据处理后的图像数据,使用深度学习模型识别面部表情和情感状态;所述情感融合模块用于对所述语音情感分析模块和所述图像情感分析模块识别出的情感状态进行融合;所述识别输出模块用于输出融合结果。

全文数据:

权利要求:

百度查询: 南京龙垣信息科技有限公司 一种多模态情感识别系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。