买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江南大学

摘要：本发明提供一种基于变形卷积和轻量级视觉状态空间结构的红外和可见光图像融合方法，属于图像融合处理技术领域。本发明的变形卷积结构旨在提取更有效的深度特征，能够将先验知识整合到网络结构中，采用具有固定形状和可学习值的内核，从而在提取详细特征时提供了增强的相关性和灵活性。本发明还引入基于VSSBlock的轻量级网络LWVB，用于压缩和提取重要的全局信息，同时保持较低的存储和计算成本。针对红外和可见光图像的融合，使用MConv和LWVB的样本高效融合网络MVF。该网络利用变形卷积核和LWVB，通过基于先验知识的卷积层提取多向深度特征。与目前最先进的融合方法相比，本发明的融合网络取得了更好的融合性能。

主权项：1.一种基于变形卷积和轻量级视觉状态空间结构的红外和可见光图像融合方法，其特征在于，步骤如下：步骤一、构建模型；模型包括输入映射、形变卷积、轻量VSSBlock和解码器；以下轻量VSSBlock简称为LWVB；所述的输入映射是指：输入到模型的数据会首先通过一个3×3卷积提取浅层特征，并输入到模型第一层的特征提取层中进行进一步的深度特征提取；所述的形变卷积、轻量VSSBlock构成了模型的特征提取层，特征提取层共3层，每层包括1个形变卷积、2个轻量VSSBlock；所述的形变卷积包括普通的基础卷积、具有水平卷积核的水平卷积、具有垂直卷积核的垂直卷积和具有对角卷积核的对角卷积；所述的普通的基础卷积是所有形状不受约束的基础卷积，基础卷积负责提取出输入到本层的图像的低频部分；所述的水平卷积、垂直卷积和对角卷积均为形状受限的三种卷积，用于提取出图像中的高频部分来保留图像中的细节信息；其中，水平卷积共享了基础卷积的前两行参数，并分别放置在第一行和第三行的位置，其余位置值为空，且第三行的参数值与基础卷积的参数值相反；垂直卷积则是水平卷积的转置，其共享的内容与水平卷积一致；对角卷积呈X形状，一共有五个值，从上到下从左到右分别共享基础卷积的第一行所有值和第二行第一个值；且四个角的位置的值均为基础卷积的值的相反数，而中心的值为原基础卷积值的四倍；形状受限的三种卷积能够提供丰富的先验知识，能够分别提取图像中不同部分的细节特征；所述的轻量VSSBlock将VSSBlock中的全连接全部替换为1×1卷积，并分别在输入和输出部分，设置了两个BottleNeck形状的1×1卷积，用于压缩和提取重要的信息，过滤掉冗余的信息；模型每一层包含的2个LWVB用于捕捉图像中的全局特征信息，其中基础卷积的输出会通过其中一个独立的LWVB来捕捉基础特征中的全局信息，其输出为包含了全局信息的基础特征，会被用于下一特征提取层的输入；而三个形状受限的卷积输出的高频特征被另一个共享的LWVB用于提取全局特征，得到的三个输出会被直接用于图像的重构，而不需要输入到下一特征提取层；所述的解码器负责将每一层提取到的深度特征还原为像素级的图像，共3层，分别对应每一个特征提取层，每一层的解码器包含一个3×3卷积；最后一层的所有LWVB的输出会通过相加的方式得到最后一层解码器的输入；在经过解码器卷积之后，倒数第二层的解码器的输入会与同层的三个具有全局特征的受限卷积的输出进行相加，所得到的输出作为下一层解码器的输入；最终，第一特征提取层对应的解码器的输出依次输入到一个3×3卷积和一个1×1卷积中；两者分别负责整合不同通道的局部信息以及压缩恢复通道数目为1，得到重构的图像；步骤二、模型的训练；模型的训练过程中，采用像素级损失和结构相似性损失对模型的输出作为损失函数进行训练，输入为一张灰度图I，输出为重构的灰度图O，损失函数表达式为：Lauto＝Lpixel+wLssim Lssim＝SSIMI,O其中Lpixel是像素级损失，Lssim是结构相似性损失，w是平衡权重，∥·∥F是F范数；步骤三、模型的推理；输入为两张图像，分别为红外和可见光图像的灰度图；两张图像分别通过网络的输入映射和三层特征提取层，得到了三层红外可见光特征的对应高频特征，和其对应的最后的低频特征；对于低频特征，使用L1策略进行整合，输入到最后一层的解码器中；而对于每一层的高频特征，则使用相加策略进行整合，并与每一层的解码器输入进行相加；最后经过解码器的重构，得到最终的融合图像；形式上的来说，对于基础特征： 式中ty∈{ir,vi}为输入要素类型，i＝[1,···,c]表示具有全局空间信息的基础要素的信道索引，c为信道号；·表示要素的空间位置；表示融合的基底特征，和表示基础卷积B从不同模态获得的基底特征；∥·∥1表示l1范数；，所述的不同模态是指红外和可见光；对于多层次的细节特征，其策略如下： 其中j表示层的索引，j＝{1,···,N}，N是层数，de∈{H,V,D}表示不同类型的核，和表示不同类型核及其共享的LWVB获得的红外和可见细节特征，表示融合的细节特征。

全文数据：

权利要求：

百度查询： 江南大学 一种基于变形卷积和轻量级视觉状态空间结构的红外和可见光图像融合方法