买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开了一种内含感知增强模块的SwinTransformer自适应图像融合方法，其特点在于对可见光图像根据场景环境进行优化增强，并采用自适应融合策略实现图像融合。该方法实现步骤为：1根据实际的场景条件，结合红外图像特征对可见光图像进行优化增强；2对优化后的可见光图像与输入的红外图像使用卷积操作获得低层特征图，并通过嵌入编码得到特征向量；3利用基于SwinTransformer的特征提取模块获取图像的全局语义信息，生成高层特征图；4利用自适应融合策略融合两种源图像的特征图；5通过卷积层和SwinTransformer模块精细化地逐次还原图像的高级和低级语义特征，实现图像重构。本发明方法无需人工干预，能够得到期望约束下的最佳策略。

主权项：1.一种内含感知增强模块的SwinTransformer自适应图像融合方法，其特征在于，包括如下步骤：步骤1：可见光图像感知增强；利用感知增强模块PEM提高可见光图像的质量；步骤2：低级语义特征提取；将预处理后的可见光图像和原始的红外图像通过三次连续卷积得到低层特征图；步骤3：高级语义特征提取；将低层特征图进行嵌入编码以展平高、宽维度，生成符合SwinTransformer处理要求的序列向量： 其中，表示编码后的输入序列，Reshape.表示图像变换操作；将序列向量送入2个基于SwinTransformer的特征提取模块ESTB中，获取图像的全局上下文；每个ESTB模块由6个SwinTransformer层组成；在通过两个ESTB模块后，对高级语义特征进行归一化处理，并将其形状重新变换成特征图矩阵： 其中为图像高级语义特征，为形状变换后的高层特征图；UnReshape.图像变换操作；步骤4：自适应特征融合；编码器完成图像特征提取后，将红外和可见光特征图输入交叉自注意力CMSA模块中；该模块同时接收来自两种源图像的特征图，针对其中一个源图像的特征图，根据自身得到查询矩阵Q，而根据另一个源图像的特征图得到键矩阵K和值矩阵V，进行自注意力计算； 其中，为交叉注意力计算完成后的源图像各自的特征图，CMSA中包含2层STB，用于得到两张源图像的全局关联特征；输出的交互特征图将被作为两个分支的输入，其中一个分支在经过卷积层特征增强后，将两个源图像的特征图进行通道拼接；随后，经过三个卷积层将通道数降到原始通道数，完成局部信息融合；另一分支则直接拼接，经过一个卷积层降维融合后输入FSTB实现全局特征增强，完成全局信息融合；最后，将局部融合信息和全局融合信息相加得到融合后的特征图： 其中与分别表示局部融合信息和全局融合信息，Conv表示卷积操作，Cat为拼接操作，将两张特征图的通道维度直接拼接；FSTB为融合自注意力层，包含6层STB，用于增强融合后图像的全局特征；步骤5：图像重构；利用Transformer模块和基于CNN的解码器，将融合后的深度特征映射回图像空间；首先，将融合图像的特征图输入基于SwinTransformer的解码器模块RSTB中，精细化融合特征图中的高级语义特征，并从全局角度恢复融合的低级语义特征；接着，通过卷积减少融合特征图的通道数量，生成最终的融合图像；步骤6：模型训练；对于自编码器结构的图像融合算法，训练分成两个阶段；第一阶段，训练自编码器，即先训练编码器和解码器，使模型具有提取图像信息和重构图像的能力；在第一阶段训练完成后，固定编码器和解码器的参数，训练融合策略和感知增强模块，以实现完整的图像融合算法；整个过程采用端对端的训练；步骤7：测试验证：已训练好的模型通过测试数据集检验，根据含有不同挑战因素场景下的测试数据集得到融合结果的主客观指标评价来验证模型的有效性。

全文数据：

权利要求：

百度查询： 西北工业大学 一种内含感知增强模块的Swin Transformer自适应图像融合方法