申请/专利权人：吉林大学

申请日：2022-10-31

公开（公告）日：2023-01-13

公开（公告）号：CN115601240A

主分类号：G06T3/40

分类号：G06T3/40;G06N3/04;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.02.07#实质审查的生效;2023.01.13#公开

摘要：本发明适用于图像处理和深度学习领域，提供了一种基于SwinTransformer的去马赛克重建彩色图像的方法，包括以下步骤：1）构建数据集；2）采用基于SwinTransformer的图像恢复网络SwinIR，构建去马赛克模型；3）训练去马赛克模型；4）测试得到的去马赛克网络模型的性能。本发明提供了一种基于SwinTransformer的自注意力机制能够从Bayer图像重建RGB图像，对比卷积神经网络CNN的静态权重以及长程依赖，好处在于能够扩大感受野，注意到全局上下文的特征，对于纹理边缘细节也有更好的重建效果。

主权项：1.一种基于SwinTransformer的去马赛克重建彩色图像的方法，其特征在于，包括以下步骤：1构建数据集：所述数据集包括训练集、验证集和测试集，使用DIV2K和Flickr2K作为训练集，首先将图片裁剪成128×128像素的小图像用于训练，通过随机旋转90°、180°、270°和水平翻转来增强训练图像；使用常用的数据集Urban100、McMaster、Kodak24以及BSD68作为测试集；对训练集和测试集都进行预处理，对原始全彩RGB图像提取“RGGB”Bayer模式，重排为四个子图形式输入网络结构中；2采用基于SwinTransformer的图像恢复网络SwinIR，构建去马赛克模型：SwinIR由浅层特征提取、深度特征提取和高质量的图像重建三部分组成；浅层特征提取模块采用一个3×3卷积层提取到96个浅层特征图，并将浅层特征直接传输到重构模块，以残差形式连接，保留低频信息；深层特征提取模块主要由4个RSTB和1个3×3卷积层组成，每个RSTB残差块利用6个STL和一个3×3卷积层共同构成，进行局部注意力和交叉窗口的交互，其中特征图数量保持96不变，每个STL使用SwinTransformer结构；高质量图像重建模块，由一层3×3卷积和PixelShuffle上采样组成，融合了浅层和深层特征用来恢复高质量的图像；3训练去马赛克模型：将步骤1处理好的训练集数据输入到步骤2构建的去马赛克模型中，所述去马赛克模型每次随机批处理一部分图像进行学习，训练过程利用Adam优化器进行优化；4测试得到的去马赛克网络模型的性能：将步骤1处理好的测试集数据输入到步骤3训练好的去马赛克模型中，输出的图像就是重建的全彩色去马赛克图像；再通过计算去马赛克后的输出图像与原始图像之间的峰值信噪比、结构相似度和图像感知相似度，其结果可作为客观评价指标来衡量去马赛克效果。

全文数据：

权利要求：

百度查询： 吉林大学 一种基于SwinTransformer的去马赛克重建彩色图像的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD