买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中南林业科技大学

摘要：本发明公开了一种半监督人脸情绪识别方法，包括获取基础图像数据样本；对标签数据进行预测，计算预测值和标签值之间的距离作为监督损失；将无标签数据生成平滑伪标签，将平滑伪标签和预测值之间的距离作为半监督损失；构建基于相似性学习的三元组损失，包括对图像数据的深度特征进行聚类，构建三元组，计算相似性三元组损失，构建完整损失函数，并根据梯度下降更新网络参数；获取半监督人脸情绪识别模型，并对当前的人脸图像数据进行情绪分析。本发明在连续域数据集中识别准确高效，同时通过调整末端在离散域数据集中取得了优异的识别率；本发明通过基于相似性学习的三元组损失函数，能够学习人脸图像间的相似性，提高了情绪变化的识别率。

主权项：1.一种半监督人脸情绪识别方法，其特征在于包括如下步骤：S1.获取基础图像数据样本，包括标签数据和无标签数据；S2.采用CNN-LSTM回归器对标签数据进行预测，计算预测值和标签值之间的距离作为监督损失；通过CNN-LSTM回归器，使用微调MixUp和时间集成为无标签数据生成平滑伪标签，将平滑伪标签和预测值之间的距离作为半监督损失；S3.构建基于相似性学习的三元组损失，包括对图像数据的深度特征进行聚类，基于聚类结果构建三元组，通过三元组之间的相似度计算相似性三元组损失，并根据梯度下降更新网络参数；包括如下步骤：A1.对图像的深度特征进行聚类：A2.通过一次迭代后CNN提取的样本特征计算加权项，将加权项加入聚类中心中进行更新；A3.给定一个批处理的样本，对批处理的样本中的数据构建三元组，得到聚类空间的数据的激活矩阵，并计算数据间的相似性与差异性损失；通过数据间的相似性和差异性损失获取最终的相似性三元组损失；具体实施时，包括给定一个批处理的样本，构建三元组，三元组包括每个批处理中标签数据、聚类空间中与每个批处理中标签数据同类中距离最远的数据和聚类空间中与每个批处理中标签数据异类中距离最近的数据；每个批处理中标签数据对激活图的激活模式进行的编码为，每个批处理中标签数据在CNN中的激活通道的重塑矩阵及其转置的积；对每个批处理中标签数据对激活图的激活模式进行的编码进行逐行归一化求得每个批处理中标签数据的激活矩阵；同时求解聚类空间中与每个批处理中标签数据同类中距离最远的数据的激活矩阵，和聚类空间中与每个批处理中标签数据异类中距离最近的数据的激活矩阵；定义数据间的相似性为激活矩阵之间的差值，求解激活矩阵之间的差值，包括：求解每个批处理中标签数据的激活矩阵，和聚类空间中与每个批处理中标签数据同类中距离最远的数据的激活矩阵之间的差值；计算差异性损失，包括：求解每个批处理中标签数据的激活矩阵，和聚类空间中与每个批处理中标签数据异类中距离最近的数据的激活矩阵的差异性损失；求得相似性三元组损失为：每个批处理中标签数据的激活矩阵，和聚类空间中与每个批处理中标签数据同类中距离最远的数据的激活矩阵之间的差值，减去每个批处理中标签数据的激活矩阵，和聚类空间中与每个批处理中标签数据异类中距离最近的数据的激活矩阵的差异性损失；S4.通过监督损失、半监督损失和相似性三元组损失的加权构建CNN-LSTM回归器的完整损失函数，根据损失值和梯度下降更新网络参数获取半监督人脸情绪识别模型，并对当前的人脸图像数据进行情绪分析。

全文数据：

权利要求：

百度查询： 中南林业科技大学 一种半监督人脸情绪识别方法