买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明请求保护一种基于颜色空间融合及循环神经网络的人脸活体检测方法，涉及生物活体检测技术领域。本发明包括融合新的颜色空间；构建人脸活体检测LSTM网络；将公开数据集的伪造人脸攻击视频的颜色特征输入到构建的LSTM中进行训练；利用新融合的颜色空间与训练好的网络模型用于人脸活体检测。本发明提出的人脸活体检测算法，能够直接对摄像头捕捉到的内容进行人脸活体检测，且能够在二维伪造人脸攻击及做工精细的三维伪造人脸攻击下实现准确检测，解决了实际在多维度、跨数据集伪造人脸攻击下人脸活体检测稳定性低的问题。

主权项：1.一种基于颜色空间融合及循环神经网络的人脸活体检测方法，其特征在于，包括以下步骤：对原始视频中每一帧图像进行人脸检测，分割图像中的人脸区域与背景区域；利用人脸区域与背景区域rPPG信号的相关性，构建新的颜色空间；对每一帧输入图像进行人脸检测，并分割出图像中的人脸区域与背景区域；将分割的图像由RGB颜色空间转换为HSV、YCbCr颜色空间并分割位9个颜色通道，对每个颜色通道进行傅立叶转换，得到各个颜色通道人脸区域与背景区域的rPPG信号；利用真实人脸区域与背景区域rPPG信号相关性较小，而伪造人脸区域相关性较大的原理，选取三个颜色颜色通道构建新的颜色空间；构建用于人脸活体检测的LSTM网络；将公开数据集中视频的颜色特征输入到构建的LSTM网络中进行训练；利用新的颜色空间及LSTM网络训练好的人脸活体检测模型进行人脸活体检测；分割人脸区域图像与背景区域图像包括如下步骤：使用使用dlib库中的frontal_face_detector作为人脸检测器检测原始视频中的每一帧图像；使用shape_predictor_68_face_landmarks.dat人脸特征提取提取器对图像中的人脸部位进行定位与标注；根据标注的位置信息划分人脸区域与背景区域，并对其进行分割；所述构建新的颜色空间包括如下步骤：捕捉原始视频中的每一帧图像，对其进行人脸检测，并将图像分割为人脸部分与被背景部分；对人脸与背景区域图像进行颜色空间转换，转换为HSV、YCbCr颜色空间；分割RGB、HSV、YCbCr三个颜色空间，得到9个颜色通道；获取当前视频每一帧的分割区域各颜色通道的颜色特征，形成9个人脸颜色特征列表与9个背景颜色特征列表；对人脸颜色特征列表与背景区域颜色特征列表进行傅立叶转换，得到rPPG信号；计算人脸区域与背景区域rPPG信号的相关系数，并记录；对所有视频的各通道的平均相关系数值，对于真实人脸视频，按相关系数升序排列颜色通道，而伪造人脸攻击视频按降序排列颜色通道，选出从前往后重合度最高的三个颜色通道，作为新的颜色空间；所述计算人脸区域与背景区域rPPG信号的相关系数，具体包括： {R1,R2,R3}＝fmin{m1,m2,m3……m9}{F1,F2,F3}＝fmax{m1,m2,m3……m9}其中mj为同一通道人脸与背景同一视频生成的rPPG信号的相关系数，Ci为n个视频产生的平均相关系数fmax为取9个颜色通道最大的3个m值，fmin为取9个颜色通道最小的3个m值；所述构建用于人脸活体检测的LSTM网络，包括如下步骤：使用新的颜色空间空间提取原始视频每一帧的人脸区域与原始区域的颜色特征，形成FeatureMap；将FeatureMap传入LSTM网络，使用带有100个隐藏神经元的LSTM层、全连接层和FFT层，LSTM用于估计具有Nf帧输入序列的rPPG信号f，FFT层将全连接层的响应转换为傅里叶域，得到rPPG信号；在LSTM网络的全连接层后接入傅里叶转换层，进而利用傅里叶转换层对网络输出的差异序列进行傅立叶转换，从而得到频域信息；结合LSTM的预测结果与人脸各区域与背景区域的频率信息的相关性，输出结果；所述将公开数据集中视频的颜色特征输入到构建的LSTM网络中进行训练，包括如下步骤：针对公开数据集中真实人脸视频，使用传统rPPG方法得到真实人脸视频的rPPG信号，作为网络训练过程中的groundtruth，对于伪造人脸攻击视频，将其rPPG信号设置为0；使用构建的新颜色空间对公开数据集中的视频提取颜色特征，将颜色特征序列与设置的groundtruth一起输入LSTM网络中进行训练；在LSTM网络的全连接层后介入傅立叶变换层，将颜色特征变化序列转为rPPG信号，再进行分类与预测。

全文数据：

权利要求：

百度查询： 重庆邮电大学 基于颜色空间融合及循环神经网络的人脸活体检测方法