买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京视察者智能科技有限公司

摘要：本发明公开了一种基于共有特征学习的人脸关键点检测方法，该方法包括通过将人脸图像通过VGG网络进行编码得到人脸特征，同时随机选取部分图片同样经过VGG网络，将得到的人脸特征与原图像人脸特征一同经过一种基于注意力机制的特征坐标提取模块，提取出各个图片的坐标信息特征，将多个提取后的特征通过特征合并模块进行合并，得到包含了多张图片公共特征的模板特征。模板特征与人脸特征结合后可以得到输入图片缩放后的热力图，通过极值坐标获得最终的关键点坐标。通过结合了多张图片提取出的模板特征，本发明能够学习到关键点基于人脸的全局特征，特殊场景下的输入也能够得到鲁棒的输出。

主权项：1.一种基于共有特征学习的人脸关键点检测方法，其特征在于，该方法包括如下步骤：步骤1，获取人脸图像样本，样本数为N，对于第i个样本，通过VGG模型对其提取维度为1×C×H×W的人脸特征fi，其中C、H和W分别表示输入的通道数、高和宽；步骤2，对于第i个样本，从N个人脸图像样本中随机选取N-1个样本构成候选集，对于候选集中的样本，使用VGG模型提取特征，得到候选集样本的特征集合步骤3，将人脸特征fi与一同通过基于注意力机制的特征坐标提取模块，具体为：将fi与合并为n表示常量，将通过两个不同的1*1的卷积，再将n、H和W维度合并，分别得到K∈RnHW×C，Q∈RnHW×C；步骤4，计算矩阵A，A＝K·QT,A∈RnHW×nHW；对于矩阵A中的每一行，将其平均分为n份，每份取其最大值，组成新的矩阵A*∈RnHW×n；对于矩阵A*的每一行取其平均值，得到矩阵Aavg∈RnHW×1，再将维度分解，得到Aavg∈Rn×H×W；步骤5，将矩阵Aavg拆分成n个H*W的矩阵，并记录每个H*W矩阵最大值的坐标，组成坐标矩阵I∈Rn×2，其中I的第一个元素记为I0，I0∈R1×2，I中剩余元素记为I′∈Rn-1×2；步骤6，将人脸特征fi和其对应的坐标特征I0一同送入特征合并模块进行合并，取其坐标I0中的元素ei，ei∈R1×C；将人脸特征和其对应的坐标特征I′一同送入特征合并模块进行合并，取I′中的n-1个维度为1×2的坐标与其相对应，取每个特征中对应坐标的元素组成矩阵矩阵ei和为模板特征；步骤7，将人脸特征fi与与模板特征ei与结合后得到输入图片缩放后的热力图Hi，具体为：将人脸特征fi与模板特征ei与四个矩阵分别计算L2范数以进行归一化且放大较大值的影响，分别将||ei||2作为||fi||2的卷积核，作为的卷积核，进行卷积操作，最终得到共n2个H×W的矩阵；将n2个H×W矩阵中的前n个矩阵乘以系数λ1，剩余矩阵乘上系数λ2，取其平均值，最终得到一个维度为H×W的矩阵，该矩阵元素的大小在0～1之间，可以表示为热力图Hi，其中系数的条件必须满足λ1+n-1*λ2＝1，λ1＞λ2；步骤8，对于热力图Hi，取前p个峰值的坐标，并根据高H与宽W相对于原图大小进行映射，得到最终的p个关键点的坐标作为最终输出。

全文数据：

权利要求：

百度查询： 南京视察者智能科技有限公司 一种基于共有特征学习的人脸关键点检测方法