买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：云南省交通投资建设集团有限公司

摘要：本发明涉及未配准红外可见光图像融合与车辆目标检测互促进方法，属图像融合技术领域与目标检测领域。本发明包括：将减小域差异后的红外图像特征和可见光图像特征在通道维度上进行拼接，并将拼接后的特征输入一系列卷积构成的偏移预测网络，获得每个像素点位置对应的偏移量，将偏移量作用回对应像素点位置，获得对齐后的图像特征；将对齐后的图像特征输入模态信息感知融合块中获得融合特征，并重构出融合图像；将融合图像输入目标检测网络，得到目标检测结果。本发明通过融合图像提高目标检测的准确率，目标检测通过损失反向传播促进图像对齐、融合图像视觉效果的提升，以此同时提高了融合性能和目标检测性能。

主权项：1.未配准红外可见光图像融合与车辆目标检测互促进方法，其特征在于，所述方法的具体步骤如下：步骤1：获取未配准的红外可见光图像融合的训练数据集；步骤2：对红外可见光图像数据集进行目标位置和类别的标注；步骤3：将红外图像和可见光图像输入Transformer块进行特征提取，获得红外图像特征和可见光图像特征；步骤4：将每层Transformer得到的红外图像特征和可见光图像特征输入关系交互表示学习模块，获得减小图像风格域差异的红外图像特征和可见光图像特征；步骤5：将减小域差异后的红外图像特征和可见光图像特征在通道维度上进行拼接，并将拼接后的特征输入一系列卷积构成的偏移预测网络，获得每个像素点位置对应的偏移量，将偏移量作用回对应像素点位置，获得对齐后的图像特征；步骤6：将对齐后的图像特征输入模态信息感知融合块中获得融合特征，并重构出融合图像；步骤7：将融合图像输入目标检测网络，得到目标检测结果；步骤8：计算对齐损失、融合损失和目标检测损失，优化网络参数；所述步骤4中，将每个Transformer块得到的红外光特征和可见光特征输入对应关系交互表示学习模块，以减小源图像风格上的域差异，便于后续偏移预测，得到减小域差异后的红外图像特征和可见光图像特征其中，为和通过1×1卷积后的结果，是正则项，T是转置操作；所述步骤5中，将减小域差异后的红外图像特征和可见光图像特征在通道维度上进行拼接，并将拼接后的特征输入一系列卷积构成的偏移预测网络，获得每个像素点位置对应的偏移量，将偏移量作用回对应像素点位置，获得对齐后的图像特征并把输入解码器Dalign以得到对齐后的图像 其中，Concat表示通道维度上的拼接操作，P表示一系列卷积构成的偏移预测网络，palign表示预测的偏移量，A表示特征重聚和过程，即将偏移量作用回对应像素点位置，Dalign是解码器，由卷积核大小为3×3，步长为1的卷积层、ReLU激活层构成；所述步骤6中，将对齐后的图像特征和第N个Transformer块得到的可见光特征输入模态信息感知融合块中获得融合特征Ffuse，并重构出融合图像Ifuse： Ifuse＝DfuseFfuse其中，MIP是模态信息感知块，由卷积核大小为3×3，步长为1的卷积层、Tanh激活层构成，Dfuse是解码器，由卷积核大小为3×3，步长为1的卷积层、ReLU激活层构成；所述步骤7中，将融合图像Ifuse输入目标检测网络O，并输出图像中目标的位置信息TP：TP＝OIfuse其中，O是类U-Net的目标检测网络，具体地，融合图像首先输入数个卷积层进行特征提取，之后将特征展平并输入线性映射层，以预测出目标的位置信息；所述步骤8中计算对齐损失、融合损失和目标检测损失，优化网络参数；对齐损失la定义为： 表示对齐后的图像，Iir表示红外图像；融合损失lf由纹理细节损失ltexture和内容损失lcontent组成，定义为：lf＝ltexture+lcontent纹理细节损失ltexture定义为： 其中，||·||1表示l1范数；表示Sobel算子提取梯度图；Ifuse表示融合图像，Ivis表示可见光图像；内容损失lcontent定义为：lcontent＝||Ifuse-Iir||1+||Ifuse-Ivis||1目标检测损失lod定义为： 其中，x表示x轴坐标预测结果；表示x轴坐标的标签；y表示y轴坐标预测结果；表示y轴坐标的标签。

全文数据：

权利要求：

百度查询： 云南省交通投资建设集团有限公司 未配准红外可见光图像融合与车辆目标检测互促进方法