申请/专利权人：电子科技大学

申请日：2024-03-22

公开（公告）日：2024-06-21

公开（公告）号：CN118230181A

主分类号：G06V20/13

分类号：G06V20/13;G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06V20/40;G06V10/42

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明公开了一种基于图神经网络的视频SAR阴影跟踪方法，它是将检测网络作为一个插件，并在跟踪网络部分引入了两项关键改进，以提高跟踪精度：首先，引入了联合特征学习，从阴影的形状和位置中提取互补的外观和运动特征，从而获得更健壮的特征表征，其次，通过将多目标跟踪MOT问题与图神经网络GNN有机结合，利用图关系来学习阴影之间的关联，从而获得更准确的跟踪预测。本发明能够高精度实现视频SAR中多目标阴影的跟踪，克服了现有技术难以区分与阴影相似的背景，造成虚警率高的问题以及在复杂环境中动目标阴影容易受背景干扰导致跟踪不连续等问题。

主权项：1.一种基于图神经网络的视频SAR阴影跟踪方法，其特征是它包括以下步骤：步骤1、准备数据集对于经典的桑迪亚国家实验室数据集，以时间顺序按照655:244的比例将桑迪亚国家实验室数据集划分为两部分，得到训练集和测试集，其中训练集含有前655张图片，记为Train，测试集含有后244张图片，记为Test；步骤2、数据预处理采用传统图像裁剪与尺度变换方法对当前帧图像进行处理，得到的处理结果记为检测区域x；采用的传统图像裁剪与尺度变换方法对上一帧图像进行处理，得到的处理结果记为模板区域z；采用传统图像裁剪与尺度变换方法，对步骤1中得到的训练集Train进行处理，得到网络输入图片对：模板区域，检测区域，记为z,x；步骤3、构建阴影检测网络首先按照经典的卷积神经网络构建方法，采用标准的ResNet50网络构建方法，建立ResNet-50网络作为backbone；然后按照经典的区域推荐FasterR-CNN网络构建方法和经典的特征金字塔网络FeaturePyramidNetwork，简称FPN构建方法，采用经典的卷积神经网络方法建立FPN网络和FastR-CNN网络；最终对于建立好的backbone、FPN和FastR-CNN建立FasterR-CNN网络，采用经典的FasterR-CNN网络构建方法处理，得到标准的FasterR-CNN网络，即阴影检测网络，记为Detector；至此，阴影预处理检测网络建立完毕；步骤4、构建联合特征提取网络步骤4.1、构建运动特征提取分支步骤4.1-1按照经典的MLP网络层构建方法，采用经典的卷积神经网络构建方法建立MLP网络，得到标准的MLP网络，即当前帧检测物体的运动特征提取分支，记为MFE-1；至此，当前帧检测物体的运动特征提取分支建立完毕；步骤4.1-2按照经典的LSTM网络层构建方法，采用经典的卷积神经网络构建方法建立LSTM网络，得到标准的LSTM网络，即历史帧跟踪物体的运动特征提取分支，记为MFE-2；至此，历史帧跟踪物体的运动特征提取分支建立完毕；步骤4.1-3将步骤4.1-1中得到的当前帧检测物体的运动特征提取分支MFE-1和步骤4.1-2中得到的历史帧跟踪物体的运动特征提取分支MFE-2采用标准的网络并联构建方法，构建运动特征提取分支，得到运动特征提取分支网络，记为MFE；至此，运动特征提取分支网络构建完毕；步骤4.2、构建外观特征提取分支步骤4.2-1按照经典的连体DenseNet121网络构建方法，采用经典的卷积神经网络构建方法建立DenseNet121网络，得到标准的DenseNet121网络，即当前帧外观特征提取分支，记为AFE-1；至此，当前帧外观特征提取分支建立完毕；步骤4.2-2按照经典的连体DenseNet121网络构建方法，采用经典的卷积神经网络构建方法建立连体DenseNet121网络，得到标准的连体DenseNet121网络，即历史帧外观特征提取分支，记为AFE-2；至此，历史帧外观特征提取分支建立完毕；步骤4.2-3将步骤4.2-1中得到的当前帧外观特征提取分支AFE-1和步骤4.2-2中得到的历史帧外观特征提取分支AFE-2采用经典的孪生网络构建方法，构建外观特征提取分支，得到外观特征提取分支网络，记为AFE；至此，外观特征提取分支网络构建完毕；步骤4.3、构建特征提取网络将步骤4.1中得到的运动特征提取分支网络MFE和步骤4.2中得到的外观特征提取分支网络AFE采用经典的的孪生网络构建方式构建联合特征提取网络，得到联合特征提取网络，记为JFE-Net；至此，联合特征提取网络构建完毕；步骤5、构建特征交互网络步骤5.1、构建运动图神经网络分支按照经典的图神经网络层构建方法，采用经典的三注意头的GAT卷积层构建方法构建运动图卷积神经网络，得到标准的运动图神经卷积网络，即运动图神经网络分支，记为M-GNN；至此，运动图神经网络分支建立完毕；步骤5.2、构建外观图神经网络分支按照经典的图神经网络层构建方法，采用经典的三注意头的GAT卷积层构建方法构建外观图卷积神经网络，得到标准的外观图神经卷积网络，即外观图神经网络分支，记为A-GNN；至此，外观图神经网络分支建立完毕；步骤5.3、构建数据关联网络按照经典的FC-NN全连接层构建方法，采用经典的卷积神经网络构建方法建立FC-NN，得到标准的FC-NN，即数据关联网络，记为DA-Net；至此，数据关联网络建立完毕；步骤5.4、构建亲和力计算网络在步骤5.3构建的数据关联网络DA-Net后，采用经典的Sinkhorn算法构建亲和力计算模块，得到亲和力计算网络，即亲和力计算网络，记为AC；至此，亲和力计算网络建立完毕；步骤5.5、构建特征交互网络将步骤5.1得到的运动图神经网络分支M-GNN和步骤5.2得到的外观图神经网络分支A-GNN采用标准的网络并联构建方法进行构建，得到标准的并联网络；然后对于标准的并联网络和步骤5.4得到的亲和力计算网络AC-Net采用标准的级联方法构建特征交互网络，得到的特征交互网络，记为GNFA；至此，特征交互网络建立完毕；步骤6、构建多目标跟踪模型将步骤1中得到的训练集Train作为输入，采用经典的Adam算法对经过步骤2、3、4、5所得到的网络进行训练，训练完成后得到多目标跟踪模型，记作GNN-JFL；步骤7、测试多目标跟踪模型在步骤6中得到的多目标跟踪模型GNN-JFL上，采用标准的目标跟踪网络测试方法对步骤1中得到的测试集Test进行测试，得到测试集Test在多目标跟踪模型GNN-JFL上的测试结果，记为Result；步骤8、评估多目标跟踪模型从步骤7中得到的多目标跟踪模型GNN-JFL的测试结果Result作为输入，采用经典的多目标跟踪精度计算方法，求出多目标跟踪准确率，记为MOTA；从步骤7中得到的多目标跟踪模型GNN-JFL的测试结果Result作为输入，采用经典的目标ID切换次数计算方法，求出目标ID切换次数，记为IDSW；从步骤7中得到的多目标跟踪模型GNN-JFL的测试结果Result作为输入，采用经典的虚警计算方法，求出虚警数，记为FP；从步骤7中得到的多目标跟踪模型GNN-JFL的测试结果Result作为输入，采用经典的漏检计算方法，求出漏检数，记为FN；从步骤7中得到的多目标跟踪模型GNN-JFL的测试结果Result作为输入，采用经典的多目标跟踪的F1得分计算方法，求出多目标跟踪的F1得分，记为IDF1；至此，整个方法结束。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于图神经网络的视频SAR阴影跟踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD