买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广州紫为云科技有限公司

摘要：本发明提出了一种基于单目RGB图像的多任务脸部表情识别方法，包括：获取待识别的图像；将图像输入以FasterOne网络作为轻量级骨干网络的轻量级卷积神经网络进行卷积计算，获得输出的特征图；对特征图进行多任务参数回归计算获取参数；利用参数构建多任务的损失函数计算人眼瞳孔的关键点坐标，并根据人眼瞳孔的关键点坐标计算眼部移动的表情参数；根据表情基参数、人头姿态参数和眼部移动的表情参数计算表情参数获取表情识别内容。本发明通过一种三维可形变模型参数回归以及瞳孔关键点回归多任务的网络模型结构，实现了网络参数共享，减少了模型的参数量，可实现实时推理。

主权项：1.一种基于单目RGB图像的多任务脸部表情识别方法，其特征在于，所述方法包括：S1、获取待识别的图像；S2、将图像输入以FasterOne网络作为轻量级骨干网络的轻量级卷积神经网络进行训练，获得输出值；其中，在所述S2中，将特征图作为输入，先通过FasterOne网络和平均池化层，再分别通过5个FC层，输出5个参数；其中，所述FC层包括FC1、FC2、FC3、FC4和FC5；所述FC1输出脸部三维可形变的身份参数，表示为α；所述FC2输出脸部三维可形变的表情参数，表示为β；所述FC3输出脸部三维可形变的纹理参数，表示为γ；所述FC4输出人头的姿态参数，表示为pose，所述FC5输出瞳孔关键点坐标参数；其中，所述输出值包括脸部三维可形变的身份参数、脸部三维可形变的表情参数、脸部三维可形变的纹理参数、人头的姿态参数和瞳孔关键点坐标参数；S3、根据瞳孔关键点坐标参数计算眼部移动表情系数；S4、根据脸部三维可形变的身份参数、脸部三维可形变的表情参数、脸部三维可形变的纹理参数、人头的姿态参数和眼部移动表情系数计算表情参数获取表情识别内容；其中，所述轻量级卷积神经网络的训练的损失函数包括关键点损失函数、图像损失函数和人眼瞳孔坐标回归的损失函数；其中，所述关键点损失函数和所述图像损失函数进行自监督训练；其中，所述人眼瞳孔坐标回归的损失函数进行监督训练；所述自监督训练具体为3D监督转为了2D监督，利用脸部3D重建后重投影的2D点与2D图像的脸部关键点标注信息进行自监督训练，其中所述自监督训练的损失函数包括关键点损失函数和图像损失函数，具体表示如下：所述关键点损失函数Llandmark表示为： 其中，wi表示脸部各关键点的权重；L和L'分别表示原图像中的脸部关键点和投影的关键点；||·||2表示均方误差，i表示关键点索引；所述图像损失函数Limage表示为： 其中，M表示各区域的掩膜，掩码部分通过对原图像进行脸部分割而来；I和I'分别表示原图像和渲染图像；||·||2表示均方根误差；i表示像素索引；所述监督训练的函数为人眼瞳孔坐标的损失函数Llandmark_pupil，表示如下： 其中，Pup和Pup'分别为原图像中标注的人眼瞳孔关键点坐标和网络预测的人眼瞳孔关键点坐标；||·||2表示均方误差；i表示瞳孔的关键点索引；所述损失函数进行训练后得到最终的脸部表情识别模型，具体为：所述脸部表情识别模型的总损失函数Ltotal如下：Ltotal＝wlandmarkLlandmark+wimageLimage+1-wlandmark-wimageLlandmark_pupil其中wlandmark和wimage分别为人眼瞳孔坐标的损失和图像损失函数在总体损失的权重系数，通过改变α、β的值调整不同损失函数的权重对模型进行训练得到最终的脸部表情识别模型；其中，所述S3具体包括：根据步骤S2输出的瞳孔关键点坐标参数对2D瞳孔进行标记，得出每个眼部的7个关键点的坐标，利用眼部7个关键点的坐标计算瞳孔的眼部移动表情系数，表示如下：右眼眼部移动表情系数Lexp_right_pupil，表示如下: 其中p7代表右眼瞳孔中心在2D图像中的像素坐标，p2代表右眼内眼角在2D图像中的像素坐标p1代表右眼外眼角在2D图像中的像素坐标，左眼眼部移动表情系数Lexp_left_pupil，表示如下： 其中p14代表左眼瞳孔中心在2D图像中的像素坐标，p8代表左眼内眼角在2D图像中的像素坐标p9代表左眼外眼角在2D图像中的像素坐标。

全文数据：

权利要求：

百度查询： 广州紫为云科技有限公司 一种基于单目RGB图像的多任务脸部表情识别方法