买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津理工大学

摘要：本发明涉及一种基于多尺度视觉注意力网络用于高光谱图像与多光谱图像融合方法。属于计算机视觉与遥感图像处理领域。融合高空间分辨率的多光谱图像与低空间分辨率的高光谱图像旨在改善高光谱图像的空间分辨率，更好地应用于下游任务。针对当前融合方法由于特征提取能力的局限导致的图像空间与光谱失真问题，本发明设计了一个高效的由多尺度视觉注意力网络组成的融合模型，该模型结合了卷积神经网络与自注意力机制，能够同时捕获全局与局部特征，并且维持图像内部的光谱关联，有效地改善了融合图像空间与光谱质量。

主权项：1.本发明涉及一种基于多尺度视觉注意力网络用于高光谱图像与多光谱图像融合方法。所述方法包括下列步骤：步骤1：数据处理与合成，由于没有可以直接使用的高空间分辨率的高光谱图像作为参考图像，本发明使用原始的高光谱图像数据集作为参考图像，该图像的宽度与高度分别为W、H。上述基础上，先后使用高斯模糊与n倍下采样方法获得低空间分辨率的高光谱图像，它的宽度与高度分别为W、H。多光谱图像由从原始图像中等间距地取五个波段构成，其尺寸与原始图像的尽寸一致。步骤2：将参考图像、高光谱图像、多光谱图像等比例裁剪成小尺寸的图像，保证三者图像的对应关系，并按照一定的比例随机采样处理后的数据作为训练集与验证集。步骤3：基于视觉注意力网络，结合多尺度学习机制，设计网络结构，确定神经网络每一层的输入节点层数、输出节点层数、卷积核尺寸、步长等参数，给定学习率，设置学习率衰减方式，选定优化函数，设计合适的损失函数。步骤4：图像上采样，采用插值的方式对低空间分辨率的高光谱图像在空间维度进行n倍上采样，使其空间分辨率与多光谱图像的空间分辨率一致。步骤5：将多光谱图像与上采样后的高光谱图像同时送入浅层特征编码模块。步骤6：将经过浅层特征编码后的多光谱图像与上采样后的高光谱图像的特征图，传入由若干个联合注意模块组成的深度特征提取部分。步骤7：对获得的特征图进行特征级连接，随后，将连接后的特征图传入特征聚合与图像重构模块，加上原始图像，生成最后的输出结果。步骤8：对输出的结果与参考图像进行损失计算，反向传播更新网络参数。步骤9：反复执行步骤4～步骤8，训练指定的epoch数，融合模型的更新以峰值信噪比PeakSignal-to-NoiseRatio，PSNR为主，最终获得最优的图像融合模型。步骤10：输入任意一张低空间分辨率的高光谱图像与高空间分辨率的多光谱图像到训练好的神经网络模型中，模型的输出即为融合后的高空间分辨率的高光谱图像。

全文数据：

权利要求：

百度查询： 天津理工大学 一种基于多尺度视觉注意力的高光谱图像与多光谱图像融合方法