申请/专利权人：安徽大学

申请日：2024-04-11

公开（公告）日：2024-06-25

公开（公告）号：CN118038086B

主分类号：G06V10/52

分类号：G06V10/52;G06N3/0464;G06N3/09;G06V10/82;G06V10/88

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.05.31#实质审查的生效;2024.05.14#公开

摘要：本发明涉及一种基于多尺度和深度监督耦合增益的SAR转光学图像方法，所述方法包括以下步骤：获取成对光学遥感影像和SAR影像数据集；构建基于多尺度和深度监督耦合增益的SAR转光学图像模型；基于多尺度和深度监督耦合增益的SAR转光学图像模型训练；获取待翻译SAR影像数据；获取SAR影像翻译成光学影像结果。与现有技术相比，通过构建多层次的SAR转光学图像模型，充分利用不同尺度下SAR的图像特征的一致性与互补性，保证每一层的图像翻译都是有方向的；同时本发明对每种尺度下的翻译结果进行深度监督，对聚合的多尺度特征进行有效过滤；在二者的协同作用下，最终实现局部纹理保持和全局色调一致的SAR转光学图像。

主权项：1.一种基于多尺度和深度监督耦合增益的SAR转光学图像方法，其特征在于，包括以下步骤：11获取成对光学遥感影像和合成孔径雷达SARSyntheticApertureRadar，SAR影像数据集：基于在季节尺度上具有全球数据的大规模遥感数据集SEN12MS-CR构建数据集用于模型训练及验证，按不同地物覆盖类型数据的分布情况从原数据集中进行随机采样；SEN12MS-CR数据集包含经过校正和地理配准后成对的哨兵1号SAR影像、哨兵2号无云光学影像和哨兵2号有云光学影像，所有数据的空间分辨率均为256×256,对于SAR转光学图像任务而言，仅需从上述数据集中获取成对的哨兵1号SAR影像和哨兵2号无云光学影像；获取哨兵2号无云光学影像的近红外NIR、红色Red、绿色Green和蓝色Blue波段，对应13个波段中的B8、B4、B3和B2波段，组成SAR转光学图像的4波段参考光学影像；获取哨兵1号SAR影像的VV和VH偏振图像，采用灰度共生矩阵对其进行纹理复杂度分析，统计影像下垫面类型，按不同纹理复杂度进行随机采样，最终获得包含农田、山脉、植被、居民区、荒漠和高原在内的6类图像共10000个成对的光学影像和SAR影像数据子集，将子集按8:2划分为训练集和验证集；12构建基于多尺度和深度监督耦合增益的SAR转光学图像模型：该模型由多尺度层次分解模块、多尺度权重校正模块、多尺度图像重建模块和多尺度深度监督模块组成，四个模块逐层耦合，保证每一层的图像翻译都是有方向的；121基于拉普拉斯金字塔构建用于获取不同空间尺度图像的多尺度层次分解模块；1211首先将输入的SAR影像分解成它的拉普拉斯金字塔，每级分解所得的特征图作为各级分支的输入，拉普拉斯分解公式如下：Lnx＝Gnx-upsampleGn+1x，其中，x表示输入的SAR影像，n表示分解的不同层级，Gn表示第n级高斯金字塔分解获得的特征图，Gn+1表示第n+1级高斯金字塔分解获得的特征图，upsample表示上采样操作，Lnx表示第n级拉普拉斯金字塔图像；1212在模型构建中选择对输入SAR影像进行4级拉普拉斯金字塔分解，即n＝1,2,3,4，获得的L1,L2,L3,L4分别作为后续模型结构层次一、层次二、层次三和层次四四个分支的输入；122构建用于聚合不同空间尺度下图像特征对多尺度重建结果进行自适应加权的多尺度权重校正模块，该模块由切分、拼接、权重卷积和空间复原四个子模块组成；1221切分子模块用于将不同空间分辨率分支的图像特征进行切分，并通过拼接操作聚合到同一维度；1222权重卷积子模块用于自适应计算不同空间尺度的特征图像校正权重，该子模块由三个分支组成，逐分支卷积，依次聚合多尺度信息；1223空间复原子模块将通过自适应计算权重后的权重响应图恢复成原始空间尺度，重新获得四个不同尺度权重响应图；123构建用于建立不同空间尺度下SAR图像特征与对应光学影像之间映射关系的多尺度图像重建模块，该模块由特征提取子模块和细化重建子模块组成；1231构建用于提取不同尺度下SAR图像特征的特征提取子模块，在前期通过拉普拉斯金字塔分解获得的具有方向限制的不同尺度的图像特征的前提下，通过多层卷积操作加强SAR图像特征的表达能力；1232构建用于细化重建的翻译图像的全局色调和局部纹理的细化重建子模块，该模块接收来自两种尺度下的特征图，通过三个分支不同卷积核大小的卷积操作的对不同尺度下的特征信息进行聚合，同时采用两次分支交互融合模块加强不同分支间的特征聚合；124构建用于对多尺度信息聚合操作进行有效特征过滤的多尺度深度监督模块，该模块在对不同空间尺度的SAR转光学图像进行深度监督，即目标函数计算损失进行梯度回传，同时对监督过程中生成的特征图通过注意力机制计算其响应图，利用该响应图对传递过程中各层间多尺度信息的聚合进行权重校正；13基于多尺度和深度监督耦合增益的SAR转光学图像模型训练：将获取的SAR影像数据作为输入，以与之配对的光学遥感影像作为参考对模型进行监督训练，迭代训练多次，保存最佳模型参数用于SAR转光学图像结果验证；14待翻译SAR影像数据的获得及处理；15获取SAR影像翻译成光学影像结果。

全文数据：

权利要求：

百度查询： 安徽大学 一种基于多尺度和深度监督耦合增益的SAR转光学图像方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD