买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：福州大学

摘要：本发明涉及一种基于空洞双残差多尺度深度网络的图像去模糊方法及系统，该方法包括以下步骤：对原始模糊退化图像和干净图像的训练图像对进行预处理，并组成图像块数据集；构建空洞双残差多尺度深度网络，其采用多尺度编码解码器结构，包括多个空洞双残差模块以及小波重建模块；以图像块数据集为训练数据，根据目标损失函数，利用反向传播方法计算多尺度深度网络中各参数的梯度，并利用随机梯度下降方法更新参数，学习多尺度深度网络的最优参数；将待测图像输入到训练好的空洞双残差多尺度深度网络中，预测生成去除模糊之后的干净图像。该方法及系统有利于提高图像去模糊的性能，去除图像模糊的同时保留更多的图像纹理细节，重建出高质量的清晰图像。

主权项：1.一种基于空洞双残差多尺度深度网络的图像去模糊方法，其特征在于，包括以下步骤：步骤A、对原始模糊退化图像和干净图像的训练图像对进行预处理，得到原始模糊退化图像和干净图像的训练图像对组成的图像块数据集；步骤B、构建空洞双残差多尺度深度网络用于图像去模糊，所述空洞双残差多尺度深度网络采用多尺度编码解码器结构设计，包括多个空洞双残差模块以及小波重建模块；步骤C、构建用于优化网络的目标损失函数loss，以图像块数据集为训练数据，根据所述目标损失函数loss，利用反向传播方法计算所述空洞双残差多尺度深度网络中各参数的梯度，并利用随机梯度下降方法更新参数，最终学习到所述空洞双残差多尺度深度网络的最优参数；步骤D、将待测图像输入到训练好的空洞双残差多尺度深度网络中，预测生成去除模糊之后的干净图像；所述步骤B具体实现步骤如下：步骤B1、构建空洞双残差块，其由多个空洞双残差模块堆叠形成，用于增大感受野，获取更多图像上下文信息并保留更多细节边缘信息；步骤B2、构建小波重建模块，用于补偿编码解码器结构中由于重复上下采样而丢失的纹理细节，从而重建出更精细的复原图像；步骤B3、构建空洞双残差多尺度深度网络，所述空洞双残差多尺度深度网络采用多尺度编码解码器设计，并引入非对称特征融合结构，以更有效地融合多尺度特征；所述步骤B1中，空洞双残差块的实现方法为：在所述空洞双残差多尺度深度网络中，在每一层的编码器和解码器中都包含一个空洞双残差块，其由多个空洞双残差模块堆叠形成；每个空洞双残差模块包括两个卷积核为3×3的卷积层以及一个空洞卷积层，特征信息经过空洞双残差模块不改变特征的大小，模块可以增大网络感受野，获取更多图像上下文信息并且保留更多细节边缘信息；空洞双残差模块将输入特征和模块输出特征使用残差连接，以及在模块内部空洞卷积层构建一个残差连接，具体的，空洞双残差模块按以下公式计算：Fout＝Conv2ReLUDilatedReLUConv1Fin+ReLUConv1Fin+Fin其中，Conv1*、Conv2*表示两个卷积核为3×3的卷积层，Dilated*表示空洞卷积层，Fin和Fout分别表示空洞双残差模块的输入和输出特征，其中ReLU表示Relu激活函数；所述步骤B2中，小波重建模块的实现方法为：所述小波重建模块用于补偿编码解码器结构中由于重复上下采样所丢失的纹理细节，从而重建出更精细的复原图像，小波重建模块主要利用小波变换将空间域信息转换为小波频域进行恢复；通过离散小波变换，将输入特征Fin分为四个不同的频率子带，计算公式如下：FLL,FLH,FHL,FHH＝DWTFin其中，DWT*为离散小波变换运算；FLL，FLH，FHL，FHH分别表示四个频率子带的特征；为了避免不同频率子带之间的干扰，四个子带都经过三个卷积核为3×3的卷积层进行恢复；计算公式如下：RLL＝C3FLLRLH＝C3FLHRHL＝C3FHLRHH＝C3FHH其中，C3*表示三层3×3卷积网络；RLL，RLH，RHL，RHH代表了三层卷积网络恢复的四个频率子带特征；最后利用离散小波逆变换将恢复的频率子带重构为输出特征Dout；计算公式如下：Dout＝IDWTRLL，RLH,RHL,RHH其中IDWT*表示离散小波逆变换运算；在小波重建阶段，将上一步骤的输出特征DB1分为两个分支，第一个分支将DB1输入卷积核为3×3的反卷积层中将通道数恢复为3得到输出DBout，第二个分支将DB1输入小波重建模块中得到大小为H×W×3的输出Dout，然后将DBoutDout以及原始输入的模糊图像块In1三者相加，得到输出图像output；计算公式如下：outout＝DBout+Dout+In1所述步骤B3中，空洞双残差多尺度深度网络的实现方法为：步骤B31、在编码器阶段，所述空洞双残差多尺度深度网络采用三层的编码解码器设计；第一个编码器输入为大小H×W×3的模糊图像块In1，经过一个卷积核为3×3的卷积层以及空洞双残差块后得到大小为H×W×C的输出EB1；第二个编码器的输入为模糊图像块In1经过下采样两倍后得到大小为的特征图In2，以及前一个编码器的输出EB1，两者经过特征提取注意力模块和空洞双残差块后得到大小为的输出EB2；再将EB2和模糊图像块In1经过下采样四倍后得到大小为的特征图In3输入到第三个编码器，经过特征提取注意力模块和空洞双残差块后得到大小为的输出EB3；在特征提取注意力模块中，输入的下采样后的模糊特征图首先经过卷积核为3×3的卷积层和卷积核为1×1的卷积层，进行浅层特征提取，前一个编码器的输出则经过一个卷积核为3×3的卷积层进行下采样，接着二者进行相乘操作后经过一个通道空间注意力模块CBAM，再与经过下采样后得到的编码器的输出进行逐像素相加得到结果；步骤B32、在解码器阶段，将步骤B31得到的特征图EB3输入第一个解码器中，经过空洞双残差块和反卷积层后得到输出DB3，第两个解码器的输入则是步骤B31得到的三个编码器输出的EB1、EB2、EB3以及前一个解码器的输出DB3，经过多尺度特征融合模块将四个输入进行特征融合，再依次经过空洞双残差块和反卷积层得到输出DB2，同样的，最后一个解码器输入为EB1、EB2、EB3以及前一个解码器的输出DB2，经过多尺度特征融合模块和空洞双残差块得到大小为H×W×C的输出DB1；将输出DB1分别通过反卷积层、小波重建模块，得到输出DBout、Dout，最后将DBout、Dout与原始输入的模糊图像块In1相加，得到最终的输出图像output，即去模糊后的图像；在多尺度特征融合模块中，输入为三个编码器的输出EB1、EB2、EB3以及前一个解码器的输出DBt-1，其中，EB1、EB2、EB3分别进行上下采样后变成相同尺寸大小的特征图，再进行通道拼接后经过一个卷积核为3×3的卷积层和一个卷积核为1×1的卷积层融合特征，再与DBt-1进行通道拼接后经过一个卷积核为1×1的卷积层得到最后输出，具体的，多尺度特征融合模块按以下公式计算：Ft＝Conv1ConcatConv3Conv1ConcatREB1,REB2,REB3,DBt-1其中，R*代表上下采样，Concat*表示通道拼接操作，Conv3*表示3×3卷积层，Conv1*表示1×1卷积层，Ft为第t个解码器融合后的特征，DBt-1代表上一个解码器的输出，EBi代表第i个编码器的输出；所述步骤C具体实现步骤如下：步骤C1、构建损失函数作为约束来优化所述空洞双残差多尺度深度网络模型，具体的公式如下：Losstotal＝Losscont+LossMSFR其中，Losstotal表示为总的损失函数；Losscont表示为多尺度内容损失函数；LossMSPR表示为多尺度频率重建损失函数；λ表示为该损失的权重；具体地，Losscont内容损失的计算公式如下： 其中，||*||1表示l1距离即取绝对值，其中k＝1，…，K，K为训练数据的样本总数，Sk表示输入的第k个模糊图像块相对应的干净图像块，表示网络所预测生成的去模糊后的图像块；多尺度频率重建损失函数优化预测图像与模糊图像之间的频域差距；LossMSFR具体的计算公式如下： 其中，表示将图像信号转换到频域快速傅里叶变换；步骤C2、将图像块数据集随机分成若干个批次，每个批次包含相同数量的图像块，对所设计的网络进行训练优化，直至步骤C1中计算得到的Loss值收敛到阈值或迭代次数达到阈值，保存训练好的网络模型，完成网络训练过程。

全文数据：

权利要求：

百度查询： 福州大学 基于空洞双残差多尺度深度网络的图像去模糊方法及系统