买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京师范大学;齐鲁空天信息研究院

摘要：本发明公开了基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法，包括：构造海工平台数据集；构建海工平台目标检测模型，将YOLOv8网络结构原有的单分支主干特征提取结构改造为同时输入光学和SAR影像的海工平台目标检测模型的主干特征提取网络结构，获得各分支上三个不同尺度的有效特征层；分别构建基于光学和SAR影像的特征增强网络层；在特征增强网络层Neck部分的最后一层分别对光学和SAR影像的三个有效特征层进行特征融合；通过YOLOHead实现分类和回归；对模型训练得到预测网络模型；测试获得待检测的光学与SAR影像对中的海工平台目标检测框的位置信息。本发明对遥感影像上海工平台目标具有较好的检测效果。

主权项：1.基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法，其特征在于，包括：S1、构造基于多时相异源遥感影像的海工平台数据集；S2、构建基于YOLOv8网络结构的伪孪生网络的海工平台目标检测模型，将YOLOv8网络结构原有的单分支主干特征提取结构改造为能够同时输入不同时相的SAR影像和光学影像的海工平台目标检测模型的主干特征提取网络结构，获得各个分支上的三个不同尺度的有效特征层；再分别构建基于光学和SAR影像的特征增强网络层，实现各个分支上的有效特征层进一步的特征提取，提升模型对于海工平台小目标的特征提取能力；并在特征增强网络层Neck部分的最后一层中分别对光学和SAR影像的三个有效特征层进行特征融合，以获得不同尺度的特征信息；最后通过YOLOHead实现分类和回归操作得到预测和回归结果；将YOLOv8网络结构原有的单分支主干特征提取结构改造为能够同时输入不同时相的SAR影像和光学影像的海工平台目标检测模型的主干特征提取网络结构，获得各个分支上的三个不同尺度的有效特征层，具体为：1在光学分支和SAR分支同时使用C2f_CloAtt结构，C2f_CloAtt结构是在每个bottleneck部分引入CloAttention模块，C2f_CloAtt结构包括C2f模块和CloAttention模块，CloAttention模块由一个局部分支和一个全局分支组成，在全局分支中，通过下采样和自注意力机制来有效提取海工平台数据集中的低频全局信息，表达式为：Xglobal＝AttntionQg，PoolKg，PoolVg其中，Qg为全局分支中的查询张量，表示在全局分支中从遥感影像中提取的特征向量，用于在遥感影像中寻找与海工平台相关的目标；Kg为全局分支中的键张量，表示在全局分支中在遥感影像中不同位置的特征向量，用于与Qg进行比较，确定哪些位置与当前关注的海工平台目标相关；Vg为全局分支中的值张量，表示在全局分支中遥感影像中各个位置的特征表示，当某个位置与Qg匹配时，该位置的Vg被用于更新海工平台目标识别的结果；PoolKg、PoolVg分别为对Kg、Vg进行池化操作；Attntion为自注意力函数；Xglobal为加权后的全局特征；在局部分支中采用AttnConv，在AttnConv结构中与标准注意力相同；在局部分支中首先通过特征向量进行全连接神经网络线性变换得到对应的Qp，Kp，Vp，表达式为：Qp，Kp，Vp＝FCXin其中，Qp表示在局部分支中从遥感影像中提取的特征向量，用于在遥感影像中寻找与海工平台相关的目标；Kp表示在局部分支中在遥感影像中不同位置的特征向量，用于与Qp进行比较，确定哪些位置与当前关注的海工平台目标相关；Vp表示在局部分支中遥感影像中各个位置的特征表示，当某个位置与Qp匹配时，该位置的Vp被用于更新海工平台目标识别的结果；Xin是AttnConv的输入特征向量，FC表示全连接神经网络；其次，在全连接神经网络进行线性变换后分别对Qp，Kp，Vp使用深度可分离卷积，增强网络分支对局部信息的感知能力，实现保留空间信息的同时提高计算效率，表达式为：Vs＝DWconvVpQl＝DWconvQpKl＝DWconvKp其中，Vs为在局部分支中经过深度可分离卷积处理后的值张量；Ql为在局部分支中经过深度可分离卷积处理后的查询张量；Kl为在局部分支中经过深度可分离卷积处理后的键张量；DWconv为深度可分离卷积函数；然后，通过对Ql，Kl进行哈达玛积Hardmard，并对结果通过一个全连接层和应用Swish激活函数，以及另一个全连接层，最终生成一个介于-1到1之间的上下文感知权重，表达式为：Attnt＝FCSwishFCQl⊙Kl其中，⊙是哈达玛积Hardmard，Swish是Swish激活函数，Attnt是原始上下文感知权重，FC是全连接神经网络；通过Tanh函数对原始的上下文感知权重进行归一化，表达式为： 其中，d是原始上下文感知权重的通道数，Attn是经过非线性变换生成的最终的上下文感知权重；然后，将最终的上下文感知权重Attn与Vs生成加权后的局部特征，表达式为：Xlocal＝Attn⊙Vs其中，Xlocal是加权后的局部特征表示；然后，在通道维度上将全局分支和局部分支的输出通过Concat串联，并在通道维度上应用一个全连接层网络，如下所示：Xt＝ConcatXlocal，XglobalXout＝FCXt其中，Xt是拼接后的局部特征与全局特征表示；Xout是在给定Xt后全连接层网络输出的特征表示；2在SAR分支上，利用空间深度转换卷积SPD_Conv替换SAR分支主干提取网络的Conv操作，实现将图像空间信息转为深度信息；3在光学分支和SAR分支的主干特征提取网络中，分别得到三个不同尺度的有效特征层，并在每个分支的最后一个有效特征层中通过引入SPPF结构进行特征提取；SPPF结构通过使用最大池化进行特征提取；S3、基于步骤S1中的基于多时相异源遥感影像的海工平台数据集训练步骤S2构建的海工平台目标检测模型，得到适用于该数据集场景的预测网络模型；S4、将待检测的光学和SAR影像对输入步骤S3得到的预测网络模型，输出待检测的光学和SAR影像对中的海工平台目标检测框的位置信息。

全文数据：

权利要求：

百度查询： 南京师范大学 齐鲁空天信息研究院 基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法