买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海艾麒信息科技股份有限公司

摘要：本发明提供了一种面对不同损伤图像的超分辨率高清重建方法和系统及智能设备、介质，包括：超分增强步骤：对原始图像进行损伤去除和超分辨增强；人脸增强步骤：对超分增强步骤处理后的图像进行人脸增强，得到重建图像。本发明使用基于深度神经网络的结构，在去噪、去模糊、去伪影的同时实现图像的超分辨率放大重建，并重点针对图像中的人脸提供了基于编解码修复和生成对抗网络的人脸增强模型，以进一步提升图像中人脸的质量。

主权项：1.一种面对不同损伤图像的超分辨率高清重建方法，其特征在于，包括：超分增强步骤：对原始图像进行损伤去除和超分辨增强；人脸增强步骤：对超分增强步骤处理后的图像进行人脸增强，得到重建图像；在所述人脸增强步骤中：预训练人脸生成器，使用人脸图片数据集预训练一个包含了人脸先验知识的人脸生成器；该人脸生成器根据输入的低维度高级语义特征生成对应的高维度人脸图片，其中，低维度高级语义特征由人脸编码器得到，该低维度高级语义特征只包含了与人脸增强相关的信息；建立一个编解码器模型，将输入的低质量人脸图片进行初步损伤去除和修复，并通过编码器提取一个对应于输入图片的低维度高级语义特征；通过解码器提取对应于输入图片的多尺度细节特征；其中，编解码器具有损伤去除功能，因而提取的高级语义特征和多尺度细节特征都是基于损伤去除以后的特征；将编码器提取的低维度高级语义特征送入已预训练好的人脸生成器中，生成对应于低维度高级语义特征的多尺度包含人脸先验的特征；将编码器提取的多尺度细节特征和编码器提取的多尺度包含人脸先验的特细节征进行融合增强；人脸生成器训练过程中使用的损伤函数包括：重构损失、对抗损失、身份特征损失、人脸局部器官损失；将解码的每一个分辨率都和真实高质量图像对应分辨率的图像计算一次重构损失，重构损失函数公式如下： Lrec表示重构损失；λL1表示权重； 表示生成的人脸增强图像；y表示真实高质量图像；λper表示权重； 表示生成的人脸增强图像的VGG-19特征；φy表示真实高质量图像的VGG-19特征；||·||1表示计算L1损失；第一项计算生成图像与真实高质量图像的L1损失，第二项计算生成图像与真实高质量图像在VGG-19特征域上的L1感知损失；对抗损失函数公式如下： Ladv表示对抗损失；λadv表示对抗损失的权重； 表示数学期望，其中x服从pdatax分布；x表示待修复的人脸图片；pdatax表示待修复人脸图片的数据分布；D·表示鉴别器；G·表示人脸增强模型；身份特征损失公式如下： Lid表示身份特征损失；λid表示身份特征损失的权重；η·表示预训练的人脸识别特征提取器；计算人脸识别特征的余弦相似度替代L1损失；人脸局部器官损失公式如下： Lcomp表示人脸局部器官损失；ROI表示感兴趣的区域，包括左眼、右眼以及嘴巴；λlocal表示局部器官对抗损失的权重 表示数学期望；DROI表示针对ROI区域的鉴别器； 表示生成生成的人脸增强图像中的ROI区域；λfs表示风格匹配损失的权重；Gram·表示计算gram矩阵；ψ·表示DROI提取的多尺度特征；式中第一项计算人脸局部器官的对抗损失，对于每一种区域，分别训练一个鉴别器D计算对抗损失；式中第二项计算人脸局部器官的风格匹配损失，提取多尺度特征，计算Gram矩阵；在所述人脸增强步骤中：使用对应人种的更多图片数据，在原始人脸增强模型的基础上继续训练，生成对应人种的人脸增强模型，使得对应人种的人脸增强模型的结果相比于原始人脸增强模型的结果更加具有对应人种的面部特征；其中，对原始人脸增强模型进行调整：通过人种分类算法对人脸数据进行分类，将人脸数据分为白色人种、黄色人种和黑色人种三类；使用目标人种的更多数据图片，在原始人脸增强模型的基础上继续训练，对人脸增强模型进行调整，得到适用于对应人种的人脸增强模型；在已知人种的应用场景下，使用对应人种的人脸增强模型，使结果具有更多对应人种的面部特征。

全文数据：

权利要求：

百度查询： 上海艾麒信息科技股份有限公司 面对不同损伤图像的超分辨率高清重建方法和系统及设备