买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜江苏海洋大学申请的专利基于Swin Transformer与GAN的红外与可见光图像融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117333410B 。

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311317507.5，技术领域涉及：G06T5/50；该发明授权基于Swin Transformer与GAN的红外与可见光图像融合方法是由康家银;马寒雁;姬云翔;张文娟;孔石泉;李惠鑫设计研发完成，并于2023-10-12向国家知识产权局提交的专利申请。

本基于Swin Transformer与GAN的红外与可见光图像融合方法在说明书摘要公布了：本发明提出了基于SwinTransformer与GAN的红外与可见光图像融合方法，主要解决了在图像融合过程中如何同时保留红外图像中的显著目标信息和可见光图像中的纹理细节信息的问题。该方法通过将传统方法与深度学习方法相结合，利用SwinTransformer的全局特征提取能力和生成对抗网络的对抗训练过程，实现了高质量的融合效果。此外，采用隐式低秩表示技术对源图像进行分解，并在生成器中采用双分支结构，充分整合源图像中的互补信息。为了提高训练效率，本方法还引入了预融合技术为生成对抗网络提供先验知识。本方法旨在满足现代遥感、军事和其他领域对红外与可见光图像融合的高效、准确需求，为图像处理领域带来了新的方法。

本发明授权基于Swin Transformer与GAN的红外与可见光图像融合方法在权利要求书中公布了：1.基于SwinTransformer与GAN的红外与可见光图像融合方法，其特征在于，该方法包括以下步骤：S1：使用隐式低秩表示分解红外图像和可见光图像为基础层图像和细节层图像，并进行归一化处理；S2：分别对基础层和细节层图像进行预融合；S3：将预融合后的基础层和细节层图像输入到一个生成对抗网络中，该网络包含一个生成器和两个判别器；生成器网络由以下部分组成：S3-1-1：基础层支路，为了提取基础层图像中的全局特征，该支路包括：第一个CNN卷积块，用于提取浅层特征信息；多个SwinTransformer层，用于进一步提取基础层子带图像的深层特征；最后一个CNN卷积块，用于对SwinTransformer层输出的特征进行降维处理；基础层支路由以下部分组成：S3-1-1-1：第一层为CNN卷积块，该卷积块包括：卷积核大小为3×3、步长为1、填充为1的卷积层；批归一化层；LeakyReLU激活层；其中，输出通道数为64，用于提取基础层子带图像中的浅层特征信息；S3-1-1-2：第2至4层为SwinTransformer层STL，用于进一步地提取基础层子带图像的深层特征；并在多层STL之间采用残差连接结构；S3-1-1-3：第5层为CNN卷积块，该卷积块包括：卷积核大小为3×3、步长为1、填充为1的卷积层；批归一化层；LeakyReLU激活层；其中，输出通道数为64；S3-1-1-4：SwinTransformer通过将图像划分为多个小窗口进行多头自注意力计算，与视觉TransformerViT相比具有更高的计算效率；多层STL之间采用残差连接，并在每层STL中进行层归一化处理；S3-1-1-5：在基于窗口的多头自注意力计算中，通过设置窗口大小将输入划分为多个不重叠的局部窗口，并进行查询、键、值特征矩阵的计算，其计算公式为：Q＝ΦWMQ,K＝ΦWMK,V＝ΦWMV 其中，局部窗口特征图ΦW，其相对应的查询、键、值特征矩阵为Q、K、V；MQ、MK和MV为在不同窗口中共享的可训练参数矩阵；d表示Q、K的维度大小，B表示可训练的相对位置偏置；S3-1-2：细节层支路，为了提取细节层图像中的局部特征，该支路包括：空间分支，采用密集连接的多层卷积结构，用于提取空间纹理特征；结构分支，通过多次卷积操作的上、下采样来提取结构特征；细节层支路由以下部分组成：S3-1-2-1：细节层支路由空间分支和结构分支两条小分支构成；空间分支用于从细节层图像中提取空间纹理特征信息；结构分支用于提取细节层图像中残存的全局结构特征信息；S3-1-2-2：在细节层分支的初始阶段，对输入的细节层图像进行一次卷积操作，输出通道数为16的特征图，然后分别输入到空间分支和结构分支中；S3-1-2-3：空间分支采用密集连接的四层卷积结构，即每个卷积层的输入与之前所有卷积层输出的特征图在通道上联结，四层卷积的输入特征图通道数分别为16、8、16、24个，输出特征图通道数均为8个，每层卷积包括：卷积核大小为3×3、步长为1、填充为1、填充方式为反射填充的卷积层；批归一化层；LeakyReLU激活层；S3-1-2-4：结构分支通过三次卷积下采样两倍的操作减小特征图尺寸并增加通道数，再通过一次卷积上采样八倍的操作恢复到原始尺寸大小，四层卷积的输入特征图通道数分别为16、32、64、32个，输出特征图通道数先增加到64个，再减少为32个，前三层卷积包括：卷积核大小为3×3、步长为2、填充为1、填充方式为反射填充的卷积层；批归一化层；LeakyReLU激活层；S3-1-2-5：结构分支最终输出的特征图通道数为32个，与空间分支的输出通道数保持一致；S3-1-3：图像重构部分，为了对两条支路提取的特征进行融合和重构，包括：卷积层，用于特征降维；Tanh激活层，用于输出融合图像；其中，基础层支路的输出特征与细节层支路的输出特征在通道维度上进行联结，然后输入到图像重构部分进行进一步的处理和重构；图像重构由以下部分组成：S3-1-3-1：在基础层支路与细节层支路提取到不同模态源图像的特征后，将这些特征基于通道维度联结起来，作为图像重构部分的输入；S3-1-3-2：图像重构部分对联结的高维特征进行降维、重构，进一步生成融合图像；S3-1-3-3：该图像重构部分主要由以下结构组成：卷积层，采用卷积核大小为1×1、步长为1、填充为0的卷积，目的是对高维特征数据进行降维；Tanh激活层，用于对卷积层的计算结果进行归一化处理；S3-1-3-4：通过上述结构，最终生成融合图像，确保融合图像充分融合了源图像的特征，且具有良好的视觉效果和高质量；判别器网络由以下部分组成：S3-2-1：前五层卷积块，每个卷积块包括：卷积层，用于提取图像的特征；BatchNormalization层，用于进行特征归一化；ReLU激活层，增强模型的非线性表达能力；S3-2-2：第六层为全连接层，其主要功能为：将卷积块提取的特征进行维度压缩，输出判别器的决策结果；使用Sigmoid激活函数，将输出值映射到0到1之间，表示输入的图像是源真实图像的概率；其中，每个卷积块的输出作为下一卷积块的输入，全连接层的输出则表示判别器的决策结果；S4：使用训练好的生成对抗网络生成最终的融合图像；训练生成对抗网络所需生成器损失函数的特征包括：S4-1：生成器总损失LG由两部分构成，分别为对抗损失Ladv和内容损失Lcontent，生成器总损失LG的定义为：LG＝Ladv+λLcontent，其中，λ为用以控制Ladv和Lcontent两项损失之间平衡的权重系数；S4-1-1：对抗损失Ladv，将判别器的损失反馈给生成器，用于引导生成器生成更接近真实数据分布的融合图像，定义为：Ladv＝E[-logDirIF]+E[-logDvisIF]，其中D·为判别器对输入图像是来自真实图像或是来自融合图像进行判断的概率，E[·]为每个训练批次判别器输出的平均值；S4-1-2：内容损失Lcontent，包含强度损失Lint、梯度损失Lgrad和基于方差的结构相似性损失LVar-SSIM，定义为：Lcontent＝αLint+βLgrad+γLVar-SSIM，其中，α、β和γ为权重系数；S4-1-2-1：强度损失Lint，迫使融合图像与源图像具有相似的强度分布，定义为：其中，H、W为输入图像的高、宽，||·||F为F范数，a为权重系数；S4-1-2-2：梯度损失Lgrad[，引导生成器生成含有源图像纹理细节信息的融合图像，定义为：其中，为梯度运算符，b为权重系数；S4-1-2-3：基于方差的结构相似性损失LVar-SSIM，计算图像间的亮度、对比度及结构相似度，定义为： 其中，N表示图像被分割后的块数，SSIM代表结构相似性；训练生成对抗网络所需判别器损失函数的特征包括：S4-2-1：红外判别器损失Dir，用于迫使生成器在生成融合图像时保留红外图像中的显著目标强度信息，定义为：S4-2-2：可见光判别器损失Dvis，用于迫使生成器在生成融合图像时保留可见光图像中的丰富细节纹理信息，定义为：其中，红外判别器Dir的输入为红外图像Iir或融合图像IF，可见光判别器Dvis的输入为可见光图像Ivis或融合图像IF。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江苏海洋大学，其通讯地址为：222005 江苏省连云港市海州区苍梧路59号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。