申请/专利权人：北京航科威视光电信息技术有限公司

申请日：2021-03-16

公开（公告）日：2024-06-21

公开（公告）号：CN113111718B

主分类号：G06V20/10

分类号：G06V20/10;G06V10/26;G06V20/70;G06V10/25;G06V10/44;G06V10/58;G06V10/80;G06V10/764;G06V10/766;G06V10/82;G06N3/0464;G06N3/045;G06N3/0985;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2021.09.17#专利申请权的转移;2021.07.30#实质审查的生效;2021.07.13#公开

摘要：本发明公开了一种基于多模态遥感图像细粒度弱特征目标涌现检测方法。先将标注好的多模态遥感检测数据集划分为训练集和测试集，进行预处理；然后利用加入了三维卷积模块的深度卷积神经网络实现对多模态数据的通道优选及高级语义信息提取，构建特征金字塔；接着利用原始标注信息构建语义真值图以及语义引导模块，将预测到的语义信息与真实标注信息对比，对原始特征图进行类注意力机制的引导；最后使用单阶段的检测头，在修正后的特征图上进行目标类别与位置信息的预测，并进行位置信息解码，得到最终结果。这种检测方法采用的网络结构设计合理，针对多模态遥感数据中的弱特征目标的检测效果良好且算法能够满足对多模态数据进行实时处理的需求。

主权项：1.一种基于多模态遥感图像细粒度弱特征目标涌现检测方法，其特征是，包括以下步骤：1将标注好的多模态遥感检测数据集划分为训练集和测试集，并对训练集和测试集进行预处理；2利用加入了三维卷积模块的深度卷积神经网络实现对多模态数据的通道优选及高级语义信息提取，并在此基础上构建多层次特征金字塔；3利用原始标注信息构建语义真值图，构建语义引导模块，将预测得到的语义信息与真实标注信息进行对比，对原始特征图进行类注意力机制的引导、达到降低虚警率的目的；4使用单阶段的检测头，在修正后的特征图上进行目标类别与位置信息的预测，然后进行位置信息的解码，得到最终结果；所述步骤2中使用的深度卷积神经网络包括4个阶段；阶段1包含两个瓶颈结构：第一个瓶颈结构的主干部分包含三个卷积层，分别使用大小为1*1、3*3、1*1的卷积核，卷积步长均为1，输出特征图的通道数依次为64、64、256，激活函数均为Relu函数；第一个瓶颈结构的旁支部分包含一个卷积核大小为1*1、卷积步长为1、输出特征图通道数为256、激活函数为relu函数的卷积层；主干部分与旁支部分输出的张量按对应位置相加后输入到第二个瓶颈结构中；第二个瓶颈结构的主干部分与第一个瓶颈结构相同，旁支部分不进行任何卷积操作；第二个瓶颈结构的输出经过一次三维卷积操作后，阶段1的所有处理操作完成；阶段2包含四个瓶颈结构：第一个瓶颈结构的主干部分包含三个卷积层，分别使用大小为1*1、3*3、1*1的卷积核，卷积步长依次为1、2、1，输出特征图的通道数依次为128、128、512，激活函数均为Relu函数；第一个瓶颈结构的旁支部分包含一个卷积核大小为1*1、卷积步长为2、输出特征图通道数为512、激活函数为relu函数的卷积层；主干部分与旁支部分输出的张量按对应位置相加后输入到第二个瓶颈结构中；后续三个瓶颈结构的主干部分与第一个瓶颈结构基本相同，但卷积步长均为1，旁支部分不进行任何卷积操作；第四个瓶颈结构的输出经过一次三维卷积操作后，阶段2的所有处理操作完成；阶段3包含六个瓶颈结构：第一个瓶颈结构的主干部分包含三个卷积层，分别使用大小为1*1、3*3、1*1的卷积核，卷积步长依次为1、2、1，输出特征图的通道数依次为256、256、1024，激活函数均为Relu函数；第一个瓶颈结构的旁支部分包含一个卷积核大小为1*1、卷积步长为2、输出特征图通道数为1024、激活函数为relu函数的卷积层；主干部分与旁支部分输出的张量按对应位置相加后输入到第二个瓶颈结构中；后续五个瓶颈结构的主干部分与第一个瓶颈结构基本相同，但卷积步长均为1，旁支部分不进行任何卷积操作；第六个瓶颈结构的输出经过一次三维卷积操作后，阶段3的所有处理操作完成；阶段4包含三个瓶颈结构：第一个瓶颈结构的主干部分包含三个卷积层，分别使用大小为1*1、3*3、1*1的卷积核，卷积步长依次为1、2、1，输出特征图的通道数依次为512、512、2048，激活函数均为Relu函数；第一个瓶颈结构的旁支部分包含一个卷积核大小为1*1、卷积步长为2、输出特征图通道数为2048、激活函数为relu函数的卷积层；主干部分与旁支部分输出的张量按对应位置相加后输入到第二个瓶颈结构中；后续两个瓶颈结构的主干部分与第一个瓶颈结构基本相同，但卷积步长均为1，旁支部分不进行任何卷积操作；第三个瓶颈结构的输出经过一次三维卷积操作后，阶段4的所有处理操作完成；所述特征金字塔包含最上层、中间层和底层三个层次：尺寸最小的最上层是通过对上述阶段4的输出进行一次卷积后得到的；将特征金字塔的最上层上采样到和上述阶段3的输出同样的尺寸，将最上层上采样后的结果与上述阶段3的输出在通道维拼接到一起后再经过一次卷积得到特征金字塔的中间层；将中间层上采样到与上述阶段2输出的尺寸后与上述阶段2的输出在通道维进行拼接，再经过一次卷积后得到特征金字塔的底层。

全文数据：

权利要求：

百度查询： 北京航科威视光电信息技术有限公司 一种基于多模态遥感图像细粒度弱特征目标涌现检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD