申请/专利权人：南京信息工程大学

申请日：2023-10-07

公开（公告）日：2024-06-25

公开（公告）号：CN117011342B

主分类号：G06T7/246

分类号：G06T7/246;G06T7/207;G06V20/40;G06V10/42;G06V10/80;G06V10/82;G06V10/54;G06V10/74;G06V10/62;G06N3/045;G06N3/0455;G06N3/0464;G06N3/0499;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2023.11.24#实质审查的生效;2023.11.07#公开

摘要：本发明公开了一种注意力增强的时空Transformer单目标跟踪方法，首先，使用主干网络提取图像特征；而后将提取的特征进行预处理，并输入到编码增强层，通过增强的自注意力机制来强化原始的特征信息；接着，解码器层会使用目标定位和编码增强层的输出作为输入，计算特征的相似度分数，并输出关联概率图；接着使用多步动态更新策略，判断是否更新动态模板与源域模板图像；最后预测头通过计算角点概率分布的期望得到预测框坐标，画出目标位置。本发明使用的网络完全基于Transformer架构，并对编码层的自注意力机制进行了增强，抑制关联计算导致的噪声和模糊；使用位置嵌入编码和动态更新模板分别提供全局的时间、空间线索。

主权项：1.一种注意力增强的时空Transformer视觉单目标跟踪方法，其特征在于，包括以下步骤：S1：输入视频序列中的三幅图像，分别为源域模板图像、搜索图像与动态模板图像，并使用主干网络SwinTrans进行特征提取；S2：将主干网络SwinTrans提取的特征向量进行预处理得到融合序列以及定位向量序列，并输入到Transformer架构中的编码注意增强层，编码注意增强层捕获融合序列和定位向量序列中所有元素之间的特征依赖关系，并用全局上下文信息强化原始特征，利用跟踪器学习用于对象定位的判别特征，计算得到特征增强序列；在解码层以定位向量序列与特征增强序列作为输入，进一步进行特征序列融合计算；S3：将特征序列输入预测头模块进行序列重构，并输出到全卷积网络FCN中，继而通过计算角点概率分布的期望得到预测框坐标，其中预测头模块采用三层感知器来预测目标预测框坐标；S4：预测头模块根据预测框坐标得到所需跟踪单个目标的矩形框，若满足多步动态更新策略，则使用预测头输出的目标位置的图像去更新动态模板图像，并将动态模板图像替换源域模板图像；若不满足多步动态更新策略，则维持动态模板图像与源域模板图像，继续沿用上一帧图像；最终实现对视频序列中单目标的跟踪。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种注意力增强的时空Transformer视觉单目标跟踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD