买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明涉及计算机视觉图像恢复技术领域，公开了一种基于污染区域掩膜引导的降质图像恢复方法；将含污染区域的图像以及污染区域掩膜输入到完成训练的恢复模型，输出恢复图像；恢复模型的构建及训练方法包括：将含污染区域的图像与对应的污染区域掩膜经过软区域掩膜生成器，得到软区域掩膜；编码阶段；深层特征的全局信息交互处理；解码阶段；将恢复特征图输入到输出卷积层中，并与含污染区域的图像构建残差连接，输出最终的恢复图像；基于训练样本以及整体损失函数，对恢复模型进行训练；本发明不仅发挥传统卷积神经网络CNN中卷积操作强大的局部特征提取能力，又实现Transformer自注意力机制在全局范围内的特征信息交互。

主权项：1.一种基于污染区域掩膜引导的降质图像恢复方法，其特征在于，将含污染区域的图像以及污染区域掩膜输入到完成训练的恢复模型，输出恢复图像；恢复模型包括软区域掩膜生成器、编码器、多尺度通道注意力模块和解码器，编码器和解码器采用U-Net型架构；恢复模型的构建及训练方法包括以下步骤：步骤一，将含污染区域的图像Iin与对应的污染区域掩膜Min经过软区域掩膜生成器Gsoftmask·，得到软区域掩膜步骤二，编码阶段：将污染图像Iin、对应的污染区域掩膜Min以及软区域掩膜在通道维度合并进行卷积操作，得到初始特征图F0；将初始特征图依次经过编码器中多个层次的编码块，在污染区域掩膜的引导下进行多次特征提取，得到浅层特征图；所述编码块由区域级引导模块和下采样操作组成；区域级引导模块将无污染区域的特征信息作为仿射变换参数来引导对污染区域特征的提取；步骤三，深层特征的全局信息交互处理；将编码器输出的浅层特征图，输入到多个级联的像素级引导模块，在软区域掩膜的引导下，得到像素级恢复的特征图；像素级引导模块在视觉Transformer基础上针对污染区域进行改进，基于软区域掩膜的引导，仅需构建无污染区域的相关性像素到污染区域的注意力机制，无需获取全局范围内所有像素点的相关性；步骤四，解码阶段：将像素级恢复的特征图依次经过解码器中多个层次的可逆网络模块，在污染区域掩膜的引导下进行多次特征恢复，得到恢复特征图；可逆网络模块基于区域级引导模块实现；通过多尺度通道注意力模块将编码块与可逆网络模块进行跳跃连接；步骤五，将恢复特征图输入到输出卷积层中，并与含污染区域的图像Iin构建残差连接，输出最终的恢复图像步骤六，基于训练样本以及整体损失函数，对恢复模型进行训练；训练样本包括含污染区域的图像、污染区域掩膜、不含污染区域的干净图像；整体损失函数包含像素级损失函数感知损失函数边界梯度损失函数频域损失函数和软区域掩膜损失函数λpix，λper，λgrad，λfreq，λsoft为平衡参数。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种基于污染区域掩膜引导的降质图像恢复方法