买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州大学

摘要：本发明涉及一种基于跨模态下的SAR图像建筑物提取模型轻量化方法，包括通过多尺度检测单元将编码阶段每一级的输出拉伸成与输入图像相同大小的图像，并将拉伸后的图像进行合并，其中图像包括光学图像和SAR图像；对合并后的光学图像和SAR图像采用注意力模块增强有意义的特征，抑制无用特征；对经过注意力模块的光学图像和SAR图像通过自适应平均池化生成多尺度的图像；最小化多尺度光学图像和SAR图像的KL散度以及总体的损失函数。本发明通过多尺度特征进行知识蒸馏，使用光学图像训练的大模型的知识转移到用SAR图像训练的轻量化模型上，提高轻量化模型在SAR图像上的分割性能。

主权项：1.一种基于跨模态下的SAR图像建筑物提取模型轻量化方法，其特征在于，包括：通过多尺度检测单元将编码阶段每一级的输出拉伸成与输入图像相同大小的图像，并将拉伸后的图像进行合并，其中所述图像包括光学图像和SAR图像；对合并后的光学图像和SAR图像采用注意力模块增强有意义的特征，抑制无用特征；对经过注意力模块的光学图像和SAR图像通过自适应平均池化生成多尺度的图像；最小化多尺度光学图像和SAR图像的KL散度以及总体的损失函数；其中，通过多尺度检测单元将编码阶段每一级的输出拉伸成与输入图像相同大小的图像的方法包括：给定输入的光学图像和SAR图像，定义第个编码阶段的输出为以及多尺度检测单元为，其中O和S分别表示光学图像和SAR图像；将第个编码阶段的输出输入至多尺度检测单元，得到其输出，其中所述多尺度检测单元为卷积层与上采样层的组合；将拉伸后的光学图像进行合并的公式为：；对合并后的图像采用注意力模块增强有意义的特征，抑制无用特征，包括：对于合并后的光学图像通过注意力模块后得到： ；对于合并后的SAR图像通过注意力模块后得到：；对经过注意力模块的光学图像和SAR图像通过自适应平均池化生成多尺度的图像，包括对经过注意力模块的光学图像通过自适应平均池化生成多尺度的光学图像；对经过注意力模块的SAR图像通过自适应平均池化生成多尺度的SAR图像；最小化多尺度光学图像和SAR图像的KL散度，包括：最小化多尺度光学图像和SAR图像的KL散度表示为；所述总体的损失函数为： ，其中，表示标签图像，和分别表示教师网络的输出和学生网络的输出，表示交叉熵损失函数。

全文数据：

权利要求：

百度查询： 苏州大学 基于跨模态下的SAR图像建筑物提取模型轻量化方法