买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏大学

摘要：本发明公开了一种基于边缘约束的深度展开图像超分辨率重构方法，这个方法将对应的数学模型展开成包含三个子块的网络模型‑边缘约束深度展开网络ECDUN。该方法主要包含以下步骤：步骤S1.利用现有的边缘特征明显的数据集训练网络模型；步骤S2.构造基于边缘约束的深度展开网络模型；步骤S3.利用步骤S1选择的数据集训练网络模型；步骤S4.利用步骤S3训练好的网络模型来进行最终的图像超分辨率重构任务的测试。本发明所提出的方法在保持可解释的同时，在像Set5,Set14,BSD100,Urban100和Manga109这些通用数据集上相对于现有的先进图像超分辨率方法具有较高的PSNR和SSIM，并且最终重构的图像在边缘纹理上相对更加清晰，过度也更加自然。

主权项：1.一种基于边缘约束的深度展开网络图像超分辨率重构方法，其特征在于，包含如下步骤：步骤S1.利用现有的边缘特征明显的数据集训练网络模型：训练数据集包含多个由高质量且具有明显边缘特征的原图像和对应的退化图像组成的数据对；步骤S2.构造基于边缘约束的深度展开网络模型：在原始的数学模型中加入边缘约束先验，然后利用半二次分裂算法结合近端梯度下降算法，将原始的数学模型展开成边缘约束深度展开网络，并加入残差投影模块RPM和平行交叉模块PFM；边缘约束深度展开网络ECDUN包含三个子模块：边缘特征提取模块EFEM，中间变量更新模块IVUM和变量引导的重构模块VGCM；其中的边缘特征提取模块用作每个阶段边缘特征的提取，中间变量更新模块负责每个阶段的边缘特征整合并将其结合到图像特征中去，变量引导的重构模块则在每个阶段将前两个模块整合好的边缘特征和图像特征作最终的整合，从而得到每个阶段的重构图像；其中，平行交叉融合模块PFM被设计进IVUM和VGCM，它的功能是将边缘特征和图像特征利用3×3的卷积进行特征融合，并利用门机制来选择二者互补的特征；残差投影模块RPM是将ECDUN重构得到的高分辨率图像进行下采样，然后将其与原始的干净图像之间作特征差，得到的特征差会被重新结合到边缘约束深度展开网络重构得到的高分辨率图像中，最终得到重构好的超分辨率图像；步骤S3.利用步骤S1选择的数据集训练网络模型：基于具有良好的边缘特征的属性，选择DIV2K作为训练数据集，基于这个数据集，给定损失函数，利用反向传播和Adam算法不断优化边缘约束深度展开网络中的参数，直到损失函数稳定；步骤S4.利用步骤S3训练好的网络模型来进行最终的图像超分辨率重构任务的测试：输入退化的图像，网络输出就是重构后的超分辨率图像；在步骤S1中，对于每一个图像，它对应的像素值为x，根据经典的退化公式y＝Ax+n得到退化图像y，其中的A代表退化矩阵，n代表额外的随机噪声；由此，训练数据集就表示为多对y，x的集合；在步骤S2中，将步骤S1中的经典退化公式重新变形，得到最小二乘式子其中λ表示拉格朗日乘数，φx表示正则化项，根据贝叶斯公式，在这个最小二乘式子中加入了边缘约束先验，由此得到其中fx表示边缘约束先验，Ωx|fx表示与x和fx相关的能量函数，μ表示权重参数；之后，利用半二次分裂算法结合近端梯度下降算法将这个加入边缘约束先验的最小二乘式子展开成包含三个子块的边缘约束深度展开网络ECDUN，这个深度展开网络包含多个阶段，每一个阶段除了网络自身包含的选择和整合边缘与图像特征的平行交叉融合模块PFM之外，还额外加入了残差投影模块RPM来不断地缩小重构图像和原始图像之间的特征误差；在步骤S3中，选择L1范式为基础的损失函数，然后利用反向传播算法计算损失函数相对于设计的边缘约束深度展开网络中各个参数的梯度，然后基于所选择的DIV2K数据集利用Adam优化算法不断迭代优化网络中各层的参数，直到损失函数的函数值趋于稳定，最终获得边缘约束深度展开网络的最优参数；在步骤S4中，还包括对应的损失函数：LΘ＝Lrec+ηLedge，其中分别代表重构损失函数和边缘损失函数，表示深度展开网络中可学习的参数，其中，δ1、δ2及δ3表示更新步长的可学习参数，μ0和μ1是惩罚参数，K为迭代次数，η是正则化参数,xi是深度展开网络第i阶段的原始参考图像，Lyi,k；Θ指的是深度展开网络第i阶段的以yi作为输入的重构图像，yi是深度展开网络第i阶段的原始低分辨率输入图像，而k表示可变的模糊核映射，Rfi,E；Θ指的是深度展开网络第i阶段的重构边缘映射，fi是深度展开网络第i阶段的原始边缘映射，E表示每个阶段通过对输入的高分辨率图像进行卷积操作得到边缘映射信息的卷积核。

全文数据：

权利要求：

百度查询： 江苏大学 一种基于边缘约束的深度展开图像超分辨率重构方法