申请/专利权人：南昌工程学院

申请日：2023-12-12

公开（公告）日：2024-06-25

公开（公告）号：CN117710688B

主分类号：G06V10/44

分类号：G06V10/44;G06V10/80;G06V10/82;G06V10/42;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.04.02#实质审查的生效;2024.03.15#公开

摘要：本发明公开一种基于卷积和注意力相结合特征提取的目标跟踪方法及系统，涉及计算机视觉与图像处理领域，包括：对给定的第一帧图像以及每一后续帧图像的搜索区域分别进行初始化，得到目标模板图像和搜索图像；构建特征提取网络；特征提取子网络包括卷积模块、依次连接的多个分层特征模块和完全连接层；每一分层特征模块包括采用自注意力操作提取全局信息的全局分支和采用注意力和卷积相结合的操作提取局部信息的局部分支；将目标模板图像和每一搜索图像分别应用特征提取网络进行特征提取，对提取的特征进行卷积操作，获得每一后续帧图像中搜索区域的目标响应位置。本发明通过卷积和注意力相结合的轻量级特征提取网络提升目标跟踪效率和准确性。

主权项：1.一种基于卷积和注意力相结合特征提取的目标跟踪方法，其特征在于，包括：对给定的第一帧图像以及每一后续帧图像中的搜索区域分别进行初始化，得到所述第一帧图像对应的目标模板图像和每一所述后续帧图像对应的搜索图像；构建特征提取网络；所述特征提取网络包括两个结构相同的特征提取子网络；两个所述特征提取子网络分别用于对所述目标模板图像和搜索图像进行特征提取；所述特征提取子网络包括卷积模块、依次串联连接的多个分层特征模块和第一完全连接层；多个所述分层特征模块依次记为第一分层特征模块，第二分层特征模块，...，第M分层特征模块；所述卷积模块的输入为所述第一帧图像或每一所述后续帧图像，所述卷积模块的输出为所述第一分层特征模块的输入，所述第M分层特征模块的输出为所述第一完全连接层的输入，所述第一完全连接层的输出为所述特征提取网络提取出的特征；每一所述分层特征模块包括层归一化分支、全局分支、局部分支和融合分支；所述层归一化分支的输入为所述卷积模块的输出；所述层归一化分支的输出分别为所述全局分支的输入和所述局部分支的输入；所述全局分支用于采用自注意力操作提取全局信息；所述局部分支用于采用注意力和卷积相结合的操作提取局部信息；所述融合分支用于对全局分支输出的所述全局信息和所述局部分支输出的所述局部信息进行融合；将所述目标模板图像和每一所述搜索图像分别应用各自的所述特征提取子网络进行特征提取，得出目标模板图像提取特征和搜索图像提取特征；将所述目标模板图像提取特征输入至跟踪模型，并对每一所述搜索图像提取特征分别与所述跟踪模型输出的结果进行卷积操作，获得每一所述后续帧图像中搜索区域的目标响应位置；其中，将所述目标模板图像和每一所述搜索图像分别应用各自的所述特征提取子网络进行特征提取，具体包括：对所述目标模板图像和所述搜索图像分别切割成多个块，得到切割后的目标模板图像和切割后的搜索图像；所述切割后的目标模板图像中的块和所述切割后的搜索图像中的块重叠；对待处理图像利用所述卷积模块进行卷积处理，得到卷积后特征；所述待处理图像为所述切割后的目标模板图像或所述切割后的搜索图像；将第m-1分层特征模块输出的特征输入至第m分层特征模块的所述层归一化分支，得出归一化特征；将所述归一化特征输入至所述第m分层特征的所述全局分支，得到所述全局信息；将所述归一化特征输入至所述第m分层特征的所述局部分支，得到所述局部信息；将所述全局信息和所述局部信息经所述第m分层特征的所述融合分支，得到融合特征；m＝1，2，...，M；当m＝1时，所述第m-1分层特征模块输出的特征为所述卷积后特征；判断m是否等于M；若否，则令m＝m+1，并返回步骤“将第m-1分层特征模块输出的特征输入至第m分层特征模块的所述层归一化分支”；若是，则将所述第M分层特征模块输出的特征输入至所述第一完全连接层，得到所述目标模板图像提取特征或所述搜索图像提取特征；当所述待处理图像为所述切割后的目标模板图像时，则所述第一完全连接层输出的是所述目标模板图像提取特征；当所述待处理图像为所述切割后的搜索图像时，则所述第一完全连接层输出的是所述搜索图像提取特征；其中，将所述归一化特征输入至所述第m分层特征的所述局部分支，得到所述局部信息，具体包括：对所述归一化特征执行线性变换操作，得到三个特征图，分别记为局部的查询Q′、局部的键K′和局部的值V′；对所述局部的查询Q′、所述局部的键K′和所述局部的值V′分别执行权重全局共享的深度卷积操作，得出查询Q′局部聚合特征、键K′局部聚合特征和值V′局部聚合特征；对所述查询Q′局部聚合特征和所述键K′局部聚合特征执行Hardmard乘积运算，得到乘积运算结果；对所述乘积运算结果依次经过第二完全连接层、第一激活层、第二完全连接层和第二激活层，得到上下文感知信息；对所述上下文感知信息和所述值V′局部聚合特征执行Hardmard乘积运算，得到所述局部信息。

全文数据：

权利要求：

百度查询： 南昌工程学院 基于卷积和注意力相结合特征提取的目标跟踪方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD