买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华侨大学

摘要：本发明公开了一种基于局部增强Transformer的图像超分辨率方法及系统，涉及图像超分辨技术领域，方法包括以下步骤：构建基于局部增强Transformer的图像超分辨率网络；输入低分辨率图像，图像超分辨率网络根据低分辨率图像重建对应的高分辨率图像；其中，所述图像超分辨率网络包括依次连接的浅层特征提取模块、深层特征提取模块和图像重建模块；其中，浅层特征提取模块利用卷积层提取浅层特征，深层特征提取模块利用多个局部增强自注意力单元提取深层特征，每个局部增强自注意力单元包括多个Transformer层和一个3×3卷积组成，图像重建模块采用卷积实现重建。本发明利用局部增强Transformer来提取丰富的全局与局部特征，从而使网络兼顾图像的全局与局部细节。

主权项：1.一种基于局部增强Transformer的图像超分辨率方法，其特征在于，包括以下步骤：构建基于局部增强Transformer的图像超分辨率网络；输入低分辨率图像，图像超分辨率网络根据低分辨率图像重建对应的高分辨率图像；其中，所述图像超分辨率网络包括依次连接的浅层特征提取模块、深层特征提取模块和图像重建模块，输入图像超分辨率网络的低分辨率图像输入到浅层特征提取模块，浅层特征提取模块的输出为深层特征提取模块的输入，深层特征提取模块的输出为图像重建模块的输入，图像重建模块的输出为对应的高分辨率图像；其中，浅层特征提取模块利用卷积层提取浅层特征，深层特征提取模块利用多个局部增强自注意力单元提取深层特征，每个局部增强自注意力单元包括多个Transformer层和一个3×3卷积组成，图像重建模块采用卷积实现重建；深层特征提取模块中的多个局部增强自注意力单元依次连接，局部增强自注意力单元的Transformer层采用Swin-Transformer或局部增强层，所述局部增强层为改进式Swin-Transformer；所述局部增强层包括邻域注意力、Ghost头和卷积前馈网络；对于第k个局部增强自注意力单元，k＝1时，其输入为浅层特征提取模块的输出，k＞1时，其输入为第k-1个局部增强自注意力单元的输出；第k个局部增强自注意力块的输出表示为：Fk＝HELTBFk-1,k＝1,2,...,K；其中，Fk-1表示第k个局部增强自注意力单元的输入，Fk表示第k个局部增强自注意力单元的输出，K表示局部增强自注意力单元的个数；HELTBk·表示第k个局部增强自注意力单元，由M个Swin-Transformer层、L个局部增强层和3×3卷积组成，局部增强自注意力单元的具体运算表示为： Fk＝HConvFk,m+Fk-1；其中，Fk,m表示第k个局部增强自注意力单元中的第m个Transformer层的输出，所述Transformer层为Swin-Transformer层或者局部增强层；HConv·表示3×3卷积层，表示第m个Swin-Transformer；表示第l个局部增强层，局部增强层的具体运算表示为： 其中，Ei是第i个像素经过局部增强层的输出值，Θ表示邻域i的第j个像素；G·表示Ghost头映射；Nj-i表示第i个像素经过邻域注意力的输出特征，vj表示第j个像素的值向量；所述邻域注意力的具体运算表示为： 其中，⊙指Hadamard乘积，i表示第i个像素，j表示邻域的第j个像素；所述Ghost头映射G·表示为： 其中，和分别表示Ghost头的输入和输出，c′表示的通道，c表示的通道，c和c′之间的关系为c′＝c％nh，nh表示Ghost头的数量；j-i表示相对偏移，％是模运算；和分别是对应于相对偏移j-i的第c个通道的O和S中的值，和是两个静态矩阵，nc表示通道c的数量，ks1表示高度，ks2表示宽度；Pow·是幂运算；λ,γ为超参数。

全文数据：

权利要求：

百度查询： 华侨大学 一种基于局部增强Transformer的图像超分辨率方法及系统