申请/专利权人：南昌工程学院

申请日：2024-04-26

公开（公告）日：2024-06-21

公开（公告）号：CN118096836B

主分类号：G06T7/246

分类号：G06T7/246;G06V10/44;G06V10/46;G06V10/80;G06N3/045;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.06.14#实质审查的生效;2024.05.28#公开

摘要：本发明提出一种基于旋转等变网络与三重注意力机制目标跟踪方法与系统，该方法在特征提取过程中通过三重注意力机制模块通过捕获三个分支之间的跨维相互作用信息，在进行多头自注意力计算，以增强给定的目标图像和搜索区域目标图像的全局上下文相关信息，再将所得特征图，通过旋转等变网络对进行旋转操作和剩余转换构建维间依赖关系，得到具有完全旋转不变性的特征图，再利用具有完全旋转不变性的特征图进行后续分类回归操作。本发明可提高目标图像和搜索区域目标图像的全局匹配的准确性，实现更准确的跟踪。

主权项：1.一种基于旋转等变网络与三重注意力机制目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤1、在孪生网络框架下，基于多头自注意力构建三重注意力机制模块，基于卷积神经网络模型、旋转等变网络与三重注意力机制模块，构建得到特征提取网络模型；步骤2、通过卷积神经网络模型对模板分支上的目标图像特征以及搜索区域目标图像特征中的局部区域进行学习，以分别得到对应的局部语义信息，得到包含局部语义信息的特征图；基于多头自注意力构建三重注意力机制模块，每个注意力头采用三分支结构，每个分支分别将包含局部语义信息的特征图调整为不同维度，再通过聚合的方式捕获三个分支之间的跨维相互作用信息，得到精细特征图，将精细特征图进行多头自注意力计算，以捕获全局上下文相关性，得到包含全局上下文相关信息的特征图，通过旋转等变网络对包含全局上下文相关信息的特征图进行旋转操作和剩余转换构建维间依赖关系，得到具有完全旋转不变性的特征图；步骤3、利用大规模数据集，对特征提取网络模型进行预训练，并对特征提取网络模型中的参数进行调整，得到预训练后的特征提取网络模型；步骤4、利用经预训练后的特征提取网络模型提取模板分支中目标图像特征以及搜索分支中的搜索区域目标图像特征；步骤5、将提取后的目标图像特征以及搜索区域目标图像特征引入到模型预测器中，通过迭代优化获取权重，再将权重应用于目标图像特征以及搜索区域目标图像特征进行目标置信度分数计算；步骤6、利用获取到的目标置信度分数中最大目标置信度分数对目标进行定位，从而实现高精度的目标跟踪。

全文数据：

权利要求：

百度查询： 南昌工程学院 基于旋转等变网络与三重注意力机制目标跟踪方法与系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD