买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：福州大学

摘要：本发明涉及一种基于特征融合的人像关键点检测方法，该方法包括：S1：将人像图片送入人脸检测网络进行人脸检测并裁剪，将训练数据集中的坐标信息转化为热力图信息；S2：将人像图片送入基于Transformer和Convolution特征融合的回归网络对其进行训练，回归网络为并行结构，通过Convolution捕捉人像图片的低级语义特征，通过Transformer捕捉人像图片中的高级语义特征，将得到的特征图进行跳跃连接，共同编码包含坐标信息的热力图；S3：基于Convolution和Transformer特征融合的回归网络将N个关键点的N个热力图联合在同一个通道，生成具有边界信息的热力图，输出N+1个通道的热力图；S4：将输出的热力图取前N个热力图进行解码，得到精确的N个关键点的坐标信息。该方法及系统有利于提高检测精度和运行速度。

主权项：1.一种基于特征融合的人像关键点检测方法，其特征在于，包括以下步骤：步骤S1：将人像数据集中的图片送入轻量化人脸检测网络YOLOV5-n-face进行人脸检测并裁剪，摒弃背景多余信息，得到经过处理后的人像图片，将人像图片中的原有的坐标信息归一化后，通过高斯分布转化为热力图；步骤S2：将步骤S1得到的人像图片送入基于Transformer和Convolution特征融合的回归网络对其进行训练，将步骤S1得到的热力图用于监督学习，损失函数采用自适应Wingloss；回归网络为并行结构，通过Convolution捕捉人像图片的低级语义特征，通过Transformer捕捉人像图片中的高级语义特征，将Convolution和Transformer得到的特征图进行跳跃连接，即通道相连，共同编码包含坐标信息的热力图；步骤S3：基于Convolution和Transformer特征融合的回归网络将N个关键点的N个热力图联合在同一个通道，生成一个单通道具有边界信息的热力图，输出N+1个通道、分辨率为64*64的热力图，N为关键点个数，其中每一个通道为关键点的高斯分布图，取其概率最大值则为所求的关键点；步骤S4：将输出的热力图通过解码函数，取前N个热力图进行解码，得到精确的N个关键点的坐标信息；步骤S2中，通过所述回归网络获得低级语义特征与高级语义特征融合的特征图，其方法为：将Convolution和Transformer并行结构得到不同尺度和不同特征空间的特征图，经过下采样操作后，以跳跃连接，即通道连接方式进行特征融合，从而构造基于Convolution和Transformer特征融合的回归网络；基于Convolution和Transformer特征融合的回归网络的主干模块由CNN卷积神经网络ConvNeXt中的卷积模块blocks构造，辅以Transformer捕捉远距离语义相关信息进一步融合特征；Transformer通过一个Embedding操作，将序列输入转化为Token，格式为（N,C,H*W），其中N为一次训练时输入网络的图片数量，C为图片通道数，H和W分别为图片的高度和宽度；Embedding层利用不同卷积核大小的二维卷积应用于（N,C,H,W）的特征图，再将不同分辨率大小的特征图进行双线性插值变为同一个分辨率大小，利用通道连接的方式得到包含不同分辨率的特征图，将此特征图进行格式变化，从（N,C,H,W）方式转化为（N,C,H*W）再送入Transformer的自我注意机制中；Transformer中的Embedding操作为：送入的特征图并行通过卷积核大小分别为1*1，3*3，7*7，9*9，步长分别为1，1，2，2的二维卷积，得到四种分辨率大小不同的特征图；再将四种分辨率大小不同的特征图通过双线性插值的方法变成四种分辨率大小相同的特征图进行通道连接，最后通过格式变化函数，将特征图的尺寸变为适合Transformer中自我注意层的大小；将Transformer结构中的Self-attention的线性层操作改为位置卷积CoordConv操作，进一步加强自我注意层捕捉远距离高级语义的特征以及通过卷积的形式加入位置信息。

全文数据：

权利要求：

百度查询： 福州大学 一种基于特征融合的人像关键点检测方法及系统