买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民解放军军事科学院国防科技创新研究院

摘要：本发明公开了一种基于多阶段注意力机制的RGBT无人机目标跟踪方法及系统，具体为：步骤S1：构建训练、评估数据集，选取公开的GOT10K、OTB100和Anti‑UAV中划分数据，用于模型训练和测试；步骤S2：构建目标跟踪模型；步骤S3：训练离线模型，加载预训练模型swin‑transformer，使用AdamW算法训练目标跟踪模型，直至损失收敛；步骤S4：执行在线跟踪，读取视频序列并获取视频中的第一帧作为模板图像，对标注区域进行裁剪获取初始目标，对后续序列，进行步骤S2中目标跟踪模型，最终完成整个序列跟踪。本发明使用多模态无人机信息，弥补了可见光与红外模态各自的缺陷，使用自注意力机制加强了模型对无人机目标的特征识别能力，使用互注意力机制加强对搜索区域的相似目标判定能力。

主权项：1.基于多阶段注意力机制的RGBT无人机目标跟踪方法，其特征在于，该方法具体为：步骤S1：构建训练、评估数据集，选取公开的GOT10K、OTB100和Anti-UAV中划分数据，用于模型训练和测试；步骤S2：构建目标跟踪模型；步骤S3：训练离线模型，加载预训练模型swin-transformer，使用AdamW算法训练目标跟踪模型，直至损失收敛；步骤S4：执行在线跟踪，读取视频序列并获取视频中的第一帧作为模板图像，对标注区域进行裁剪获取初始目标，对后续序列，进行步骤S2中目标跟踪模型，最终完成整个序列跟踪；所述步骤S2中，目标跟踪模型包括特征提取模块、多层次特征融合模块、互相关模块、目标分类器、目标定位器，具体如下：步骤S2.1：构建共享权重的双分支特征提取模块，利用swin-transformer作为预训练主干模型，输出其最后一层特征；步骤S2.2：构建多层次特征融合模块，针对步骤S2.1所提取的特征图，以双分支三阶段来进行特征融合，以交叉查询的方式提高模型对多模态之间的信息的利用，引导一个模态向另一个模态查询隐含特征；步骤S2.3：构建互相关模块，利用注意力机制，实现模板图像与搜索图像之间的交叉感知；步骤S2.4：构建目标分类器，目标分类器由三层全连接层构成，最终输出为一个维度为1024*2的向量；步骤S2.5：构建目标定位器，目标定位器由三层全连接组成，输出维度为1024*4，分别为目标框的归一化坐标。

全文数据：

权利要求：

百度查询： 中国人民解放军军事科学院国防科技创新研究院 基于多阶段注意力机制的RGBT无人机目标跟踪方法及系统