买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明属于图像信息处理技术领域，公开了一种像素级‑目标级特征平衡的红外与可见光图像融合方法，设计了层次化交互模块，通过将图像融合和图像分割任务在不同的层次上进行特征交互，来平衡任务之间的信息传递。该层次化交互模块包含两个关键部分：跨像素级细节特征交互模块和跨目标级语义特征交互模块。这两个模块通过不同层次的特征转换和特征交互协同工作，不仅解决了图像融合和图像分割任务之间的特征不匹配问题，而且通过充分利用任务间的互补信息，促进了特征在不同层次上的深入交互。

主权项：1.一种像素级-目标级特征平衡的红外与可见光图像融合方法，其特征在于，步骤如下：该红外与可见光图像融合方法所用模型由融合网络、分割网络以及层次化交互模块构成；其中融合网络和分割网络均采用编码器-解码器结构，编码器由四个VGG卷积块组成，负责特征提取；解码器由四个与编码器相对应的卷积块构成，每个卷积块包括一个上采样层和两个3*3的卷积层，用于生成最终的图像融合和图像分割的输出；层次化交互模块用于编码器阶段，共有四个层次化交互模块，每个层次化交互模块包括跨像素级细节特征交互模块和跨目标级语义特征交互模块，跨像素级细节特征交互模块和跨目标级语义特征交互模块都包含特征转换和交互机制；在特征进行交互之前，通过特征转换模块来实现不同层次特征之间的转换，特征转换模块分为图像重构模块和分割头模块，各由四个卷积块构成；训练过程分为跨目标级语义特征交互模块的训练阶段和跨像素级细节特征交互模块的训练阶段；步骤一、跨目标级语义特征交互模块的训练阶段在进行跨目标级语义特征交互之前，先将融合网络的第i个卷积块提取的像素级特征通过分割头模块转换成目标级语义特征，使得融合网络提取的像素级特征与分割网络第i个卷积块提取的目标级特征能在语义层面进行跨目标级语义特征交互；其中，i＝1，2，3，4，分割头模块由四个3*3卷积块构成，前两层卷积块的输出通道数Ci与输入的融合网络提取的像素级特征的通道数保持一致，以确保后续与分割网络提取的目标级特征交互时两特征的通道数相匹配；后两层卷积块的输出通道数分别设定为64和输出的类别数，以输出最终的目标级语义特征；为了约束分割头模块的训练过程，采用交叉熵损失函数，该交叉熵损失函数衡量了分割头模块输出的分割图与给定的语义分割真实标签之间的差异，并通过最小化该损失，促使分割头模块输出的分割图尽可能地接近于真实标签，从而实现像素级特征到目标级特征的转换；交叉熵损失函数Lsh的公式表示为：Lsh＝-∑classS**logS其中，class代表类别数量，S*是语义分割真实标签，S是分割头模块预测的概率分布；完成特征转换和分割头损失的优化后，将转换后得到的目标级语义特征和分割网络的第i个卷积块提取的目标级特征送入多头注意力机制中进行目标级语义特征之间的交互；具体地，将融合网络提取的像素级特征经过转换得到的目标级语义特征作为键Kf，查询Qs和值Vs对应于分割网络提取的目标级特征目标级语义特征交互过程对应的的公式如下： MultiHeadQs，Kf，Vs＝Concathead1，...，headhWO 其中，softmax表示对相似性权重进行归一化；dk是键向量的维度；Attention函数通过计算查询与键之间的相似性权重，对值向量进行加权求和得到注意力输出；h是注意力头的数量；Concat表示将所有注意力头的结果拼接在一起；WO是最终输出的可学习权重矩阵；MultiHead表示最终的多头注意力输出；分别是对应于第j个注意力头的查询、键和值的可学习权重矩阵；在完成跨目标级语义特征交互之后，将交互得到的目标级语义特征与分割网络的第i个卷积块提取的目标级特征进行拼接，从而得到该卷积块最终的目标级语义特征步骤二、跨像素级细节特征交互模块的训练阶段在进行跨像素级细节特征交互之前，先将分割网络的第i个卷积块得到的最终目标级语义特征通过图像重构模块转换成像素级细节特征，使得分割网络得到的目标级语义特征与融合网络第i个卷积块提取的像素级特征能在细节层面进行跨像素级细节特征交互；其中图像重构模块由四个3*3卷积块构成，前两层卷积块的输出通道数Ci与输入的分割网络得到的目标级特征的通道数保持一致，以确保后续与融合网络提取的像素级特征交互时两特征的通道数相匹配；后两层卷积块的输出通道数分别设定为64和1，以输出最终的像素级细节特征；为了约束图像重构模块的训练过程，使用重建损失L2函数，该重建损失L2函数衡量了图像重构模块输出的特征分别与输入的原始红外图像和原始可见光图像之间的差异，并通过最小化该损失，促使图像重构模块尽可能地重建出与原始红外图像和原始可见光图像相一致的像素级细节特征，从而实现目标级特征到像素级细节特征的转换；重建损失L2函数Lrecon的公式表示为： 其中，表示经过图像重构模块处理后输出的特征，fIR和fVis分别表示原始红外图像的特征和可见光图像的特征，α和β分别表示权重参数；完成特征转换和重建损失的优化后，将转换后得到的像素级细节特征和融合网络的第i个卷积块提取的像素级特征送入多头注意力机制中进行像素级特征之间的交互；具体地，将分割网络得到的目标级特征经过转换得到的像素级特征作为键Ks，查询Qf和值Vf对应于融合网络所提取的像素级特征像素级特征交互阶段的公式如下： MultiHeadQf，Ks，Vf＝Concathead1，...，headhWO 其中，softmax表示对相似性权重进行归一化；dk是键向量的维度；Attention函数通过计算查询与键之间的相似性权重，对值向量进行加权求和得到注意力输出；h是注意力头的数量；Concat表示将所有注意力头的结果拼接在一起；WO是最终输出的可学习权重矩阵；MultiHead表示最终的多头注意力输出；分别是对应于第j个注意力头的查询、键和值的可学习权重矩阵；在完成跨像素级细节特征交互之后，将交互得到的像素级特征与融合网络的第i个卷积块提取的像素级特征进行拼接，从而得到该卷积块最终的像素级特征以上是一个层次化交互模块的训练阶段；在四个层次化交互模块训练完成后，分割网络的编码器阶段提取出了目标级特征，融合网络的编码器提取出了像素级特征；目标级特征和像素级特征被分别对应送入各自网络的解码器，进行进一步的卷积处理和上采样操作，最终分别得到清晰的分割图fS和高质量的融合图像fF；接下来，为了优化分割网络和融合网络的性能，分别为它们定义了损失函数；对于分割网络，采用交叉熵损失函数进行优化，损失函数LS的定义如下： 其中，class代表类别数量，S*是语义分割真实标签，fS是分割网络输出的结果；对于融合网络，损失函数LF由结构相似性损失和均方误差损失组成，公式如下： LF＝λSSIM*LSSIM+λMSE*LMSE其中，LSSIM是基于结构相似性指数的损失，分别计算融合图像fF和原始红外图像fIR以及融合图像fF和原始可见光图像fVis的结构相似性损失，然后求平均得到最终的结构相似性损失LSSIM；LMSE表示的是融合图像fF分别与红外图像fIR和可见光图像fVis均方误差损失的和；λSSIM和λMSE是权重参数；综上，训练整体网络的完整损失函数为：L＝λF*LF+λS*LS+λrecon*Lrecon+λsh*Lsh其中，LF是融合网络的损失函数，LS是分割网络的损失函数，Lrecon是图像重构模块的损失函数，Lsh是分割头模块的损失函数，λF、λS、λrecon、λsh分别是对应于融合网络损失、分割网络损失、图像重构模块损失和分割头模块损失的权重参数。

全文数据：

权利要求：

百度查询： 大连理工大学 像素级-目标级特征平衡的红外与可见光图像融合方法