买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：福州大学

摘要：本发明涉及一种基于渐进融合多尺度策略的图像去摩尔纹方法及系统，该方法包括以下步骤：步骤S1、对原始数据集中图像进行处理，得到摩尔纹图像和干净图像对，并对每幅图像进行预处理，得到训练数据集；步骤S2、构建基于渐进融合多尺度策略的多尺度去摩尔纹网络，所述多尺度去摩尔纹网络采用多尺度设计，由两个渐进纹理融合模块和多个残差摩尔纹去除模块组成；步骤S3、构建用于训练所述多尺度去摩尔纹网络的损失函数；步骤S4、采用训练数据集训练所述多尺度去摩尔纹网络；步骤S5、将待处理的摩尔纹图像输入训练好的多尺度去摩尔纹网络，输出去除摩尔纹后的干净图像。该方法及系统有利于实现高质量的图像去摩尔纹。

主权项：1.一种基于渐进融合多尺度策略的图像去摩尔纹方法，其特征在于，包括以下步骤：步骤S1、对原始数据集中图像进行处理，得到摩尔纹图像和干净图像对，并对每幅图像进行预处理，得到训练数据集；步骤S2、构建基于渐进融合多尺度策略的多尺度去摩尔纹网络，所述多尺度去摩尔纹网络采用多尺度设计，由两个渐进纹理融合模块和多个残差摩尔纹去除模块组成；步骤S3、构建用于训练所述多尺度去摩尔纹网络的损失函数；步骤S4、采用训练数据集训练所述多尺度去摩尔纹网络；步骤S5、将待处理的摩尔纹图像输入训练好的多尺度去摩尔纹网络，输出去除摩尔纹后的干净图像；所述步骤S2具体包括以下步骤：步骤S21、构建残差摩尔纹去除模块，以使用所述残差摩尔纹去除模块来去除图像的摩尔纹以及校正图像的色差；步骤S22、构建渐进纹理融合模块，以使用所述渐进纹理融合模块来补偿下采样丢失的细节并将低尺度信息与高尺度融合，以达到更佳的去摩尔纹效果；步骤S23、结合渐进纹理融合模块和残差摩尔纹去除模块构建多尺度去摩尔纹网络，采用所述多尺度去摩尔纹网络从低分辨率到高分辨率逐步去除摩尔纹；所述步骤S21中，所述残差摩尔纹去除模块的输入是一个摩尔纹图像的特征图，其中输入的特征图用Fi表示，其大小为C×H×W；该模块由两个深度卷积块和局部颜色校正模块组成，深度卷积块负责去除摩尔纹，局部颜色校正模块负责校正图像中的色差；将输入到第一个卷积块中得到的特征图加上Fi得到大小为C×H×W的Fi2，将Fi2输入到第二个卷积块中得到大小C×H×W的Fi3，将Fi3输入到局部颜色校正模块中得到输出Fco，然后将Fco逐元素加上Fi2得到残差摩尔纹去除模块的最终输出Fo；每个深度卷积块由扩展卷积层、激活层、深度卷积层、激活层、注意力模块和瓶颈卷积层按序组成；两个激活层都采用Swish激活函数，扩展卷积层和瓶颈卷积层都采用卷积核为1×1的卷积，设深度卷积块的输入特征大小为C×H×W，扩展卷积层将原本通道为C的特征图放大到通道数为2C，瓶颈卷积层将原本通道数为2C的特征图缩小到通道数为C；深度卷积层是卷积核为5×5，分组数为2C的卷积；注意力模块采用的是通道注意力模块；所述局部颜色校正模块的输入是Fi3，其由平均池化层、卷积层、激活层、卷积层、激活层、卷积层、上采样层、通道注意力模块和卷积层按序组成；平均池化层的大小为2，步长也为2；四个卷积层都是卷积核为1×1的卷积，激活层采用ReLu激活函数，上采样层采用放大倍率为2的双线性插值上采样；该模块的输入Fi3依次通过平均池化层、卷积层、激活层、卷积层、激活层、卷积层、上采样层得到颜色特征Flc，然后将Flc和Fi3连接到一起输入到通道注意力模块与卷积层中得到校正好颜色的输出Fco；所述步骤S22中，所述渐进纹理融合模块的输入是低尺度的最终去摩尔纹特征低尺度去摩尔纹图像和高尺度摩尔纹图像Ih；该模块由上采样层、三个卷积层、两个激活层、两个注意力模块和两个深度卷积层组成；上采样层采用放大倍率为2的双线性插值上采样，三个卷积层都采用卷积核为3×3的卷积，两个激活层都采用Swish激活函数，深度卷积层是卷积核为5×5，分组数为2C的卷积，注意力模块采用的是通道注意力模块；所述渐进纹理融合模块的融合方式为：设Ih的大小为3×H×W，的大小为3×的大小为先将和分别送入上采样层进行上采样，分别得到大小为3×H×W的和大小为C×H×W的将和Ih逐元素相减得到差异图，将差异图送入卷积层中提取特征，之后连接该特征与得到大小为2C×H×W的特征Fd；利用深度卷积层来提取Fd中的纹理特征，Fd依次经过深度卷积层、激活层、深度卷积层、激活层、注意力模块和卷积层得到大小为C×H×W的特征，将该特征逐元素加上得到第一次融合的特征Ff1；为了提升网络对于低尺度特征信息的利用率，将输入到注意力模块中，并将结果与Ff1连接起来，输入到卷积层进行第二次融合得到特征Ff2，最后将Ff2与Ih连接在一起得到渐进纹理融合模块的最终输出Fuf；所述步骤S23中，所述多尺度去摩尔纹网络有三个分支，设输入网络的训练数据集中的摩尔纹图像大小为3×H×W，该图像表示为I，其是第一个分支的输入，将I输入到下采样层中下采样得到第二个分支的输入I'，其大小为将I'输入到下采样层中下采样得到第三个分支的输入I”，其大小为所述第三个分支由六个残差摩尔纹去除模块和两个卷积层组成；利用卷积核为3×3的卷积层提取I”的特征F”，将F”送入到连续的六个残差摩尔纹去除模块中得到最终的去摩尔纹特征前两个和最后一个残差摩尔纹去除模块里的深度卷积层的膨胀系数都设置为1，第三个到第五个模块里的六个深度卷积层的膨胀系数分别设置为2、3、5、7、9、1，用于扩大网络的感受野，以应对覆盖范围更大的摩尔纹；最后一个残差摩尔纹去除模块的输出特征为将其送入卷积层中得到大小为的去摩尔纹图所述第二个分支由一个渐进纹理融合模块、五个残差摩尔纹去除模块和一个卷积层组成；将第三个分支的最终输出特征和去摩尔纹图以及I'一起输入到渐进纹理融合模块中获得融合特征F'，将F'送入到连续的五个残差摩尔纹去除模块中得到最终的去摩尔纹特征第一个和最后一个残差摩尔纹去除模块里的深度卷积层的膨胀系数都设置为1，中间三个模块里的六个深度卷积层的膨胀系数分别设置为1、2、3、5、7、1；最后一个残差摩尔纹去除模块的输出特征为将其送入卷积层中得到大小为的去摩尔纹图所述第一个分支由一个渐进纹理融合模块、四个残差摩尔纹去除模块和一个卷积层组成；将第二个分支的最终输出特征和去摩尔纹图以及I一起输入到渐进纹理融合模块中获得融合特征F，将F送入到连续的四个残差摩尔纹去除模块中得到最终的去摩尔纹特征第一个和最后一个残差摩尔纹去除模块里的深度卷积层的膨胀系数都设置为1，中间两个模块里的四个深度卷积层的膨胀系数分别设置为2、3、5、7；最后一个残差摩尔纹去除模块的输出特征为将其送入卷积层中得到大小为3×H×W的去摩尔纹图所述步骤S3具体包括以下步骤：步骤S31、构建整个网络的总优化目标；优化目标如下：minL， 其中，minL表示最小化L，L表示网络的去摩尔纹总损失，和分别表示训练第一、第二和第三分支网络去摩尔纹图像的损失函数，η表示第一分支损失函数的权重参数；第i个分支的损失函数计算公式如下： 其中，表示去摩尔纹图像与干净图像的Charbonnier损失，表示去摩尔纹图像与干净图像的边缘纹理损失，表示去摩尔纹图像与干净图像的颜色损失；第一个分支的干净图像为数据集中的干净图像，大小为3×H×W；该图像下采样为得到第二个分支的干净图像；继续下采样至得到第三个分支的干净图像；步骤S32、构建去摩尔纹图像与干净图像的Charbonnier损失；的计算公式如下： 其中，表示第d个分支输出的去摩尔纹图像，Od表示与其配对的干净图像，∈表示控制精度的常量，λC表示该损失的权重；计算三个分支的损失时，分别采用该分支的去摩尔纹图像和对应尺寸的干净图像作为和Od；步骤S33、构建去摩尔纹图像与干净图像的边缘纹理损失；的计算公式如下： 其中，||||1是取绝对值操作，Sobel*表示不同方向的改进的Sobel过滤器，Sobel*表示卷积操作，λASL表示该损失的权重；计算三个分支的损失时，分别采用该分支的去摩尔纹图像和对应尺寸的干净图像作为和Od；步骤S34、构建去摩尔纹图像与干净图像的颜色损失；的计算公式如下： 其中，G表示高斯模糊核，表示模糊的去摩尔纹图像，GOd表示模糊的干净图像，是取二范数的平方操作，λcr表示该损失的权重；计算三个分支的损失时，分别采用该分支的去摩尔纹图像和对应尺寸的干净图像作为和Od。

全文数据：

权利要求：

百度查询： 福州大学 基于渐进融合多尺度策略的图像去摩尔纹方法及系统