申请/专利权人：中国人民解放军战略支援部队信息工程大学

申请日：2023-09-27

公开（公告）日：2024-06-25

公开（公告）号：CN117475145B

主分类号：G06V10/26

分类号：G06V10/26;G06V10/44;G06V10/80;G06V10/82;G06V20/10;G06N3/0464;G06N3/0455;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.02.20#实质审查的生效;2024.01.30#公开

摘要：本发明涉及遥感影像处理技术领域，特别涉及一种融合多重注意力机制的多尺度遥感影像语义分割方法及系统，对遥感影像原始数据进行预处理，得到原始数据对应多模态目标数据，所述多模态目标数据包含：单通道nDSM信息、三通道RGB信息及单通道Canny边缘信息；利用预训练的语义分割模型对多模态目标数据进行推理预测，得到对应的分割结果，其中，语义分割模型编码器的不同分支网络结构之间设置有用于增强不同模态输入数据间特征融合的高程‑边缘注意力机制，并在编码器和解码器之间设置有用于增强编码器和解码器信息融合的残差切片注意力机制。本发明通过融合多模态、多尺度特征进行深度提取，以改善并提升遥感影像中小目标和模糊边缘场景的分割效果和精度。

主权项：1.一种融合多重注意力机制的多尺度遥感影像语义分割方法，其特征在于，包含：对遥感影像原始数据进行预处理，得到原始数据对应多模态目标数据，所述多模态目标数据包含：单通道nDSM信息、三通道RGB信息及单通道Canny边缘信息；其中，将原始数据的RGB影像数据、地面高程模型DSM数据进行归一化处理，以分别获取对应的单通道nDSM信息、三通道RGB信息，并利用Canny边缘提取算子提取原始数据的边缘特征，将该边缘特征作为单通道Canny边缘信息；利用预训练的语义分割模型对多模态目标数据进行推理预测，得到对应的分割结果，其中，语义分割模型采用由编码器和解码器构成的主干网络，所述编码器由对应单通道nDSM信息、三通道RGB信息和单通道Canny边缘信息的三分支网络结构组成，且在编码器不同分支网络结构之间设置有用于增强不同模态输入数据间特征融合的高程-边缘注意力机制，并在编码器和解码器之间设置有用于增强编码器和解码器信息融合的残差切片注意力机制，其中，残差切片注意力机制利用跳跃连接将编码器提取的不同尺度的特征连接到解码器相应尺度，并通过解码器中的残差切片注意力机制将特征图切分为大小相等的切片，对每个切片进行自适应池化，采用门控机制获取切片区域对应通道位置处的注意力响应图，并通过归一化运算和转置卷积运算使特征图尺寸恢复至输入的特征图大小；高程-边缘注意力机制对同一尺度的nDSM特征图和Canny边缘特征图进行连接，并对连接后的特征图计算其切片残差注意力响应图；并将特征图嵌入到RGB特征提取主干网络分支，在该主干网络分支中利用残差连接将nDSM特征图和Canny边缘特征图两者连接后计算的切片残差注意力响应图融合到RGB特征提取过程。

全文数据：

权利要求：

百度查询： 中国人民解放军战略支援部队信息工程大学 融合多重注意力机制的多尺度遥感影像语义分割方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD