买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种基于实例级空间感知引导的异质人脸识别方法，包括：采用开源NIR‑VIS异质人脸数据集；提出一个语义空间分布自适应对齐模块与语义对齐的空间自适应归一化模块，设计了一个由任意VIS或NIR图像作为实例引导NIR图像与VIS图像相互转换的交叉光谱人脸幻化网络，并基于此网络结构建立了无监督NIR‑VIS图像翻译模型；在CycleGAN的双向一致训练框架基础上，提出一个基于梯度的结构一致性损失函数，优化模型；用优化后的模型将NIR图像转换成VIS图像，进行人脸识别。本发明提高NIR转换VIS图像的质量与多样性，提高了近红外图像的人脸识别精度，任意VIS实例引导转换的特性提高了模型在不同场景的鲁棒性，进一步本方法可以无缝植入已有的人脸识别系统。

主权项：1.基于实例级空间感知引导的异质人脸识别方法，其特征在于，包括以下步骤：1数据准备采用开源NIR-VIS异质人脸数据集CASIANIR-VIS2.0，其包含多个人的近红外人脸图像即NIR图像与自然人脸图像即VIS图像；对全部人脸图像作标注、对齐与裁剪的预处理后，遵从领域内公共协议划分训练集与测试集；采用开源的异质人脸数据集CASIANIR-VIS2.0训练模型，遵从领域内公共的10折训练设置划分训练集与测试集；基于该训练集训练完成的模型能够直接用于另外两个开源异质人脸数据集Oulu-CASIANIR-VIS与BUAA-VisNir的测试集上测试；为了排除图像采集本身导致的图像间差异，包括相机不同高度、距离、倾斜度对成像的影响，对于训练阶段与测试阶段使用到的全部人脸图像，采用以下步骤进行预处理：1.1人脸关键点标注：人工标注图像中人物脸部上的5个关键点，包括：左眼中心、右眼中心、鼻尖、左嘴角与右嘴角；1.2人脸对齐：根据标注的关键点，对图像进行旋转、缩放，使得关键点满足特定的几何关系，即：左右眼中心连线中点与左右嘴角连线中点连线保持竖直且长度为n1个像素；1.3人脸区域裁剪：从对齐后的图像上裁剪出固定高宽为H×W的人脸区域，其中，裁剪框满足左右眼中心连线中点水平居中且距离上边框n2个像素；2模型构建考虑到数据集中同一人的NIR图像与VIS图像并不严格对齐，提出一个语义空间分布自适应对齐模块和语义对齐的空间自适应归一化模块，设计了一个由任意VIS或NIR图像作为实例引导NIR图像与VIS图像相互转换的交叉光谱人脸幻化网络ICFH，并基于此网络结构建立无监督NIR-VIS图像翻译模型；提出了一个无监督NIR-VIS图像翻译模型，集成了以下部分：2.1语义空间分布自适应对齐为了处理NIR图像与VIS图像在空间上的不对齐，提出了语义空间分布自适应对齐模块SSAA；语义空间分布自适应对齐是指在特征层面，考察NIR图像内容特征上每个位置与VIS图像外观特征上每个位置的语义相关性，依据相关性调整VIS图像外观特征的空间分布向NIR图像内容特征的语义分布对齐，整个过程定义为： 式中，指实数域，conv1×1指1×1卷积运算，softmax是逻辑回归函数，是对齐后的VIS图像外观特征，H和W分别表示图像的高度与宽度，h、w和c′分别表示特征的高度、宽度与通道数，下标c和a分别表示内容特征与外观特征；2.2语义对齐的空间自适应归一化为了将对齐后的VIS图像外观特征融入NIR图像内容特征以引导网络生成足够真实的VIS图像，提出语义对齐的空间自适应归一化模块SASAN；SASAN根据对齐的VIS图像外观特征预测调制参数，对白化后的NIR图像内容特征重新着色，从而实现VIS图像外观特征向NIR图像内容特征迁移，整个过程定义为： 式中，是网络中的第l层的卷积操作输出的NIR内容特征，与分别表示网络针对第l层根据预测的调制参数，⊙表示逐元素乘法，与分别表示逐通道的均值与标准差，计算方式如下： 式中，下标索引表示取特征在像素处的整个编码向量；2.3实例引导的交叉光谱人脸幻化网络将步骤2.1与2.2结合，设计了实例引导的交叉光谱人脸幻化网络ICFH，基于该网络结构分别设计有NIR图像向VIS图像转换的生成网络和VIS图像向NIR图像转换的生成网络NIR图像向VIS图像转换的生成网络由3部分组成，包括：NIR内容编码器VIS外观编码器与VIS解码器Decvis，即接收Inir为输入并输出NIR图像内容特征接收Ivis为输入并输出VIS图像外观特征Decvis接收和为输入，首先经过步骤2.1中SSAA得到对齐后的VIS图像外观特征然后解码和得到Inir的对应VIS版本整个图像转换过程能够描述为： 其中，为了实现VIS图像外观特征充分迁移，将解码器Decvis的残差网络层中的归一化层替换为步骤2.2中的SASAN；具体地，对于每一个“归一化-ReLU-卷积”网络层，运算过程能够被描述为： 式中，与分别是该网络层的输入特征与输出特征，ReLU是修正线性单元；类似地，VIS图像向NIR图像转换的生成网络由3部分组成，包括：VIS内容编码器NIR外观编码器与NIR解码器Decnir，即接收为Ivis输入并输出VIS图像内容特征接收Inir为输入并输出NIR图像外观特征Decnir接收和为输入，首先经过类似步骤2.1中SSAA得到对齐后的NIR图像外观特征然后解码和得到Ivis的对应NIR版本整个图像转换过程能够被描述为： 其中，为了实现NIR图像外观特征充分迁移，将解码器Decnir的残差网络层中的归一化层替换为类似步骤2.2中的SASAN；具体地，对于每一个“归一化-ReLU-卷积”网络层，运算过程能够被描述为： 式中，与分别是该网络层的输入与输出特征，Γnir与Bnir分别表示根据预测的该网络层的调制参数，与分别是逐通道的均值与标准差；最终，设计的无监督NIR-VIS图像翻译模型包括两对生成对抗网络，分别负责两个映射方向的建模；从NIR到VIS转换的方向：生成网络以VIS图像Ivis为引导将NIR图像Inir转换成VIS版本鉴别网络判断喂入的图像是生成的或是真实的Ivis；从VIS向NIR转换的方向，生成网络以NIR图像Inir为引导将VIS图像Ivis转换成NIR版本鉴别网络判断喂入的图像是生成的或是真实的Inir；其中，与的结构能够是任意常用的鉴别网络；3模型参数调优在CycleGAN的双向一致训练框架基础上，提出一个基于梯度的结构一致性损失函数，用于解决图像转换前后的局部变形问题，并加强NIR图像中人物的身份特征保留；记i、j表示任意的两个人，与分别是i的一个NIR图像和VIS图像；与分别是j的一个NIR图像和VIS图像；不妨考虑以为引导生成的VIS版本以为引导生成的NIR版本模型参数调优包括以下步骤：3.1双向一致训练框架采用CycleGAN的双向一致训练框架优化无监督NIR-VIS图像翻译模型，具体包括循环一致性损失函数对抗损失函数循环一致性损失函数要求生成的或者经过相反方向的映射或者并以原图像或者作为引导提供外观特征，能够重构原图像或者具体定义为： 式中，与分别表示训练数据集中的NIR图像集与VIS图像集，和分别表示从数据集合和中采样样本和表示对所有采样样本计算的损失函数值求期望值，||·||2表示L2范数；对抗损失函数通过生成网络与鉴别网络相互对抗来提高生成网络生成真实图像的能力，具体定义为： 式中，是鉴别生成的VIS图像与真实VIS图像的鉴别网络，是鉴别生成的NIR图像与真实NIR图像的鉴别网络；3.2身份特征保留损失函数为了保持转换后的图像与原图像保持相同的身份特征，借助一个预训练好的人脸识别网络Φ，身份特征保留损失函数要求两张图像在Φ投影的表征空间中尽可能相近，具体定义为： 式中，||·||1表示L1范数；3.3基于梯度的结构一致性损失函数基于梯度的结构一致性损失函数要求与与在结构上保持不变；具体地，使用拉普拉斯算子lap提取图像的边缘结构，使用ReLU算子抑制负值得到稀疏的结构表征，具体定义如下： 式中，*表示卷积运算，ReLU是修正线性单元；无监督NIR-VIS图像翻译模型的完整优化目标表示为上述循环一致性损失函数、对抗损失函数、身份特征保留损失函数、基于梯度的结构一致性损失函数的加权和，使用梯度回传的方法更新模型参数；并使用CASIANIR-VIS2.0的训练集训练该无监督NIR-VIS图像翻译模型；4人脸识别在测试阶段，使用优化后的模型，对给定待识别NIR图像，以人脸库中的每个VIS图像作为参考实例，生成对应的VIS版本，与人脸库中的VIS图像计算身份特征相似度，完成识别；模型训练完毕，取其中NIR图像向VIS图像转换的生成网络在测试阶段，从CASIANIR-VIS2.0的测试集或其它开源异质人脸识别数据集中，取任意待识别的NIR图像遍历人脸库Gallery中每个VIS图像K是VIS图像数量，以作为实例引导生成对应的VIS版本使用预训练好的人脸识别网络Φ分别提取和的身份特征计算余弦相似度则识别的结果能够通过定位最大余弦相似度确定，即： 式中，k*即为的识别结果。

全文数据：

权利要求：

百度查询： 华南理工大学 基于实例级空间感知引导的异质人脸识别方法