买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学

摘要：本发明公开了一种基于跨模式情感一致性的面部表情识别算法方法，解决了面部表情识别准确率较低的技术问题。实现包括：生成面部表情训练集和测试集；设计与构建基于跨模式情感一致性的面部表情识别模型；设置分类主网络和多标签分布网络的网络结构；迭代训练基于跨模式情感一致性的面部表情识别模型；获取面部表情识别结果。本发明通过构建的模型，利用多标签分布网络，同时使用多分类标签和分布标签对模糊表情中多个情绪及强度进行描述。利用破坏图像生成模块过滤面部表情识别干扰区域。利用分布一致性学习模块对模糊表情进行去模糊处理。提高对模糊表情中主导情绪的识别准确率。应用于智慧教育、辅助医疗、疲劳驾驶等诸多人机交互系统。

主权项：1.一种基于跨模式情感一致性的面部表情识别方法，其特征在于，使用多分类标签和分布标签来对模糊表情中的多个情绪及强度进行描述，利用多标签分布网络结果产生破坏图像，再将产生的破坏图像及其模糊图像训练分类主网络，获取面部表情识别结果，包括有以下步骤：步骤1、生成面部表情训练集和测试集：随机采集人脸面部表情图像组成面部表情样本集，并对采样得到的面部表情图像进行归一化和表情类别标注，再将归一化后的面部表情图像以及对应的标签作为面部表情训练集；采用与面部表情训练集相同的采样分辨率，对面部表情样本集中的每张面部表情图像进行双线性采样，对采样后的面部表情图像进行归一化处理，将归一化后的所有面部表情图像及其对应的标签组成面部表情测试集；步骤2、设计与构建基于跨模式情感一致性的面部表情识别模型：设计的基于跨模式情感一致性的面部表情识别模型，简称面部表情识别模型，包括有分类主网络模块和与分类主网络依次连接四个模块，四个模块分别为模糊图像筛选模块、多标签分布学习模块、破坏图像生成模块和分布一致性学习模块；面部表情训练集中的面部表情图像经分类主网络获取对该面部表情图像预测的概率分布结果，将此预测结果送入模糊图像筛选模块得到模糊图像，将模糊图像输入多标签分布学习模块得到模糊图像对应的模糊表情及对应模糊表情强度，来对模糊表情中的多个情绪及强度进行描述，将模糊表情及对应模糊表情强度送入破坏图像生成模块得到破坏图像；再将模糊图像及其破坏图像输入分布一致性学习模块，输出的一致的深度特征用于训练分类主网络，得到面部表情图像预测的概率分布；对于模块输入的一批面部表情训练集中的面部表情图像，首先输入分类主网络得到面部表情图像预测的概率分布结果，预测结果再经与分类主网络依次连接四个模块得到模糊图像及其对应的破坏图像，最后通过对模糊图像及其对应的破坏图像进行一致的概率分布预测来训练分类主网络；步骤3、设置分类主网络和多标签分布网络的网络结构：分类主网络和多标签分布网络均为卷积神经网络，其中，分类主网络包括一个在MS-Celeb-1M人脸识别数据集上经过预训练的ResNet50主干网络，连接一个全连接层；多标签分布网络包括一个在MS-Celeb-1M人脸识别数据集上经过预训练的ResNet50主干网络，连接一个层序列；再结合人脸面部表情识别任务设置各层参数；步骤4、迭代训练基于跨模式情感一致性的面部表情识别模型：采用面部表情数据集RAF-DB、FERPlus和AffectNet分别用来训练分类主网络，并对基于跨模式情感一致性的面部表情识别模型的性能进行评估，再采用复合面部表情数据集RAF-ML中的多分类标签和分布标签，用来训练多标签分布网络；按照批次将面部表情训练集中的图像及其对应的标签输入到基于跨模式情感一致性的面部表情识别模型中，在训练过程中，分类主网络和多标签分布网络均使用自适应动量的随机优化器Adam自优化训练过程，使用学习率衰减的乘性因子Gamma为0.9的指数衰减学习率调节器ExponentialLR来降低后续迭代中每轮的学习率，通过梯度下降算法，迭代更新卷积神经网络中各层的参数，得到训练好的模型；步骤5、获取面部表情识别结果：对面部表情测试集中的每张待识别人脸图像进行与面部表情训练集相同的采样分辨率的双线性采样和归一化处理，并将归一化后的图像输入到已训练好的面部表情识别模型中，输出面部表情图像的表情类别识别结果，计算并输出面部表情分类准确率。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于跨模式情感一致性的面部表情识别方法