买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜华南理工大学申请的专利一种多模态情绪识别方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115349860B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210819867.4，技术领域涉及：A61B5/16；该发明授权一种多模态情绪识别方法、系统、设备及介质是由唐浩雲;青春美;欧浩春;徐向民设计研发完成，并于2022-07-13向国家知识产权局提交的专利申请。

本一种多模态情绪识别方法、系统、设备及介质在说明书摘要公布了：本发明公开了一种多模态情绪识别方法、系统、设备及介质，包括虚拟现实场景构建模块、信号采集模块、特征提取模块、特征重构模块及多模态情绪识别模型；对穿戴VR设备被试者通过VR情绪图片库进行情绪诱发，采集被测试者在虚拟现实设备下的生理信号，并进行特征提取，通过迁移学习对各个模块进行特征重构，通过多模态特征融合最终实现情绪分类。本发明提供虚拟现实诱发态下基于注意力机制和迁移学习的多模态情绪识别系统，利用不同生理信号的优点，探索并挖掘其在情绪识别中的作用，借助迁移学习和注意力机制，加强情绪识别系统的泛化能力，这不仅在实际应用中具有良好的发展前景，也开创了一种情绪识别系统新模式。

本发明授权一种多模态情绪识别方法、系统、设备及介质在权利要求书中公布了：1.一种多模态情绪识别方法，其特征在于，包括：构建VR全景情绪图片库及数据集，并对数据集内的数据进行情绪标签；用户佩戴VR设备，采用VR全景情绪图片库中的图片进行刺激，采集脑电信号、眼动信号及fNIRS信号；使用稀疏自动编码器分别对脑电信号、眼动信号及fNIRS信号进行处理，提取输出层的特征，并将输出层特征作为输入层，继续处理，得到每一层的脑电信号、眼动信号及fNIRS信号特征；通过模态间迁移函数学习进行特征重构，得到各模态重构特征；将模态重构特征即眼动信号重构特征、脑电信号重构特征以及fNIRS信号重构特征，输入残差多头自注意力模块，将眼动模态、脑电模态、fNIRS模态三种模态进行两两组合，通过引入交谈多头注意力机制的多头互注意力模块，采用级联拼接进行特征融合，然后全局平均池化处理后分类输出情绪标签；所述通过模态间迁移函数学习进行特征重构，得到各模态重构特征，具体为：将脑电模态、眼动模态及fNIRS模态三个模态两两组合，将模态投影到共同空间，在该空间中学习迁移函数，得到α、β的投影矩阵，并将该矩阵作为相应模态组合的迁移函数；利用迁移函数得到各个模态第i层的迁移特征，进一步得到稀疏自动编码器每一层的输出；通过反向传播BP算法微调权重直至收敛，通过情感特征迁移学习后，能够得到各模态的重构特征，选择特征表现较好的第i层作为情感特征，此时得到脑电情感特征HE、眼动情感特征HY及fNIRS情感特征HF。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。