买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中电科新型智慧城市研究院有限公司申请的专利一种多模态情感识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119475252B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510055932.4，技术领域涉及：G06F18/25；该发明授权一种多模态情感识别方法是由王文敏;屈玉涛;阮威健;胡金晖设计研发完成，并于2025-01-14向国家知识产权局提交的专利申请。

本一种多模态情感识别方法在说明书摘要公布了：本申请适用于情感识别技术领域，提供了一种多模态情感识别方法，该方法包括：获取待测视频数据中包含的多个模态数据的初始模态特征；对多个模态数据的初始模态特征进行融合拼接和时序特征处理，得到多个词汇级别多模态融合特征；然后，对多个词汇级别多模态融合特征进行自注意力加权计算，得到待测视频数据的视频级别多模态融合特征；根据视频级别多模态融合特征对待测视频数据进行情感识别处理，得到待测视频数据对应的情感预测结果。通过将音频模态数据、图像模态数据和文本模态数据的初始模态特征进行融合处理，和通过自注意力加权计算对词汇级别多模态融合特征的关键信息分配更多的权重信息，来提高情感识别的准确率。

本发明授权一种多模态情感识别方法在权利要求书中公布了：1.一种多模态情感识别方法，其特征在于，包括：获取待测视频数据中包含的多个模态数据的初始模态特征，其中，所述模态数据包括：音频模态数据、图像模态数据和文本模态数据；对多个所述模态数据的所述初始模态特征进行融合拼接和时序特征处理，得到多个词汇级别多模态融合特征；对多个所述词汇级别多模态融合特征进行自注意力加权计算，得到所述待测视频数据的视频级别多模态融合特征；根据所述视频级别多模态融合特征对所述待测视频数据进行情感识别处理，得到所述待测视频数据对应的情感预测结果；其中，所述初始模态特征包括：所述文本模态数据的多个词汇级别文本特征、所述音频模态数据的多个词汇级别音频特征和所述图像模态数据的多个词汇级别表情特征，所述对多个所述模态数据的所述初始模态特征进行融合拼接和时序特征处理，得到多个词汇级别多模态融合特征，包括：通过自注意力机制对多个所述词汇级别文本特征的上下文关系进行捕捉，得到多个所述词汇级别文本特征对应的多个词汇级别文本模态时序特征；通过所述自注意力机制对多个所述词汇级别音频特征的上下文关系进行捕捉，得到多个所述词汇级别音频特征对应的多个词汇级别音频模态时序特征；根据预设词汇窗口数量和所述文本模态数据中的词汇顺序进行窗口平滑移动，得到多个所述词汇级别文本特征对应的上下文词汇级别文本特征和多个所述词汇级别音频特征对应的上下文词汇级别音频特征；根据多个所述词汇级别文本特征、多个所述词汇级别音频特征、多个所述上下文词汇级别文本特征和多个所述上下文词汇级别音频特征，计算得到多个文本模态的音频协同特征和多个音频模态的文本协同特征；对多个所述词汇级别文本模态时序特征、多个所述词汇级别音频模态时序特征、多个所述文本模态的音频协同特征和多个所述音频模态的文本协同特征进行相加并求平均，得到多个词汇级别音频文本融合特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中电科新型智慧城市研究院有限公司，其通讯地址为：518000 广东省深圳市福田区华富街道深南大道1006号深圳国际创新中心C栋19楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。