申请/专利权人：河南大学

申请日：2024-03-22

公开（公告）日：2024-06-21

公开（公告）号：CN118229548A

主分类号：G06T5/50

分类号：G06T5/50;G06T5/60;G06V10/143;G06V10/42;G06V10/44;G06V10/54;G06V10/80;G06V10/82;G06N3/0455;G06N3/0464;G06N3/084;G06N3/09

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明公开了一种基于渐进多分支和改进UNet3+深监督的红外与可见光图像融合方法，包括如下步骤：对红外与可见光图像进行预处理，以获得数据均为灰度化的图像，得到训练样本；然后将红外与可见光图像输入到渐进多分支模块中，引入SE注意力机制对多尺度信息动态调整；接着输入到引入ECA注意力机制的UNet3+模块中，强化全局感知和局部细节捕获；然后通过深监督进行多尺度特征融合和图像重建操作，以捕捉全局上下文信息并提取目标边缘信息，增强融合区域的目标特征。待训练结束后，将模型的所有参数信息保存下来；最后将待测样本输入至红外与可见光图像融合模型中，经计算输出融合结果图，融合出的图像整体更加完整，细节更加完善，边缘更加平滑。

主权项：1.基于渐进多分支和改进UNet3+深监督的红外与可见光图像融合方法，其特征在于：包括以下几个步骤：A、准备数据集，并进行数据集划分：将选取的训练集图像配准和图像拉伸预处理后，并对其进行灰度化处理以获得训练样本；B、创建网络模型，设置网络模型的初始权重和损失函数，并选定网络模型要使用的优化器；C、将步骤A中获得的经过预处理的红外图像和可见光图像分别输入到PMEDSFusion网络中，通过渐进多分支模块进行多尺度信息提取；在此过程中，对通过四个3×3卷积层得到的分支进行附加卷积操作以提取深层特征，从而实现多尺度信息提取并得到最终特征图Cout；D、将步骤C中获得的最终特征图Cout分别用Ci、Cv表示红外图像和可见光图像分支，并沿通道维度拼接后输入引入ECA注意力机制的UNet3+模块，以提升网络的注意力机制，优化特征图的通道权重分配；E、将步骤D中得到的特征图进行1×1卷积操作后，进行4次下采样编码，得到5个不同尺度的特征图X1、X2、X3、X4、X5，通过全尺寸跳跃连接和引入ECA注意力模块逐渐还原形成5层解码器Y1、Y2、Y3、Y4、X5；F、将步骤E中得到的不同深度的5层解码器Y1、Y2、Y3、Y4、X5进行多尺度特征融合后沿通道维度拼接，提高对不同尺度特征的感知和得到更全面的多尺度信息，并生成最终特征图Ffuse；G、将步骤F得到的最终特征图Ffuse输入到图像重建中：通过四个卷积操作对输入特征图Ffuse进行逐步处理，得到最终的融合结果Fout；H、根据损失函数计算融合网络的损失值，利用Adam优化器优化损失梯度并反向传播，更新融合网络的模型参数；I、在步骤H训练结束后，将训练好的融合网络的模型所有参数信息都保存下来；J、将待测试的红外与可见光图像依次经图像配准和图像拉伸预处理后，并对其进行灰度化处理以获得待测试样本；K、将待测试样本输入至步骤I中保存的融合网络的模型中，经计算输出融合结果图。

全文数据：

权利要求：

百度查询： 河南大学 基于渐进多分支和改进UNet3+深监督的红外与可见光图像融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD