申请/专利权人：四川盎智未来科技有限公司

申请日：2024-04-28

公开（公告）日：2024-06-28

公开（公告）号：CN118115755B

主分类号：G06V10/62

分类号：G06V10/62;G06V10/25;G06V10/46;G06V10/50;G06V10/75;G06V10/74;G06V10/764;G06V10/82;G06T7/246;G06N3/0464;G06N3/0455

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.06.18#实质审查的生效;2024.05.31#公开

摘要：本发明公开了一种多目标跟踪方法、系统及存储介质，属于计算机视觉跟踪技术领域。方法包括：S1：图像获取阶段；S2：目标检测和相机运动估计阶段；S3：目标运动补偿阶段，根据目标框集合和相机运动矩阵M对第一目标框坐标pH进行运动补偿得到第二目标框坐标pC，然后将第二目标框坐标pC赋值回目标框；S4：相邻图像帧目标关联阶段，使用多目标关联跟踪方法对相邻图像帧的目标框进行关联；S5：多帧关联找回阶段，设置丢失目标集和新增目标集，使用丢失找回策略得到多目标跟踪结果。通过多帧关联找回，克服了现有相邻帧关联方法无法找回丢失目标的问题，缩小了多帧关联找回的特征匹配空间，不管是短时还是长时，均能实现丢失目标的快速找回。

主权项：1.一种多目标跟踪方法，其特征在于：包括以下步骤：S1：图像获取阶段，从光电设备获取图像数据；S2：目标检测和相机运动估计阶段，使用多目标检测模型对图像数据进行目标检测得到目标框集合；同时根据图像数据中相邻图像帧的静态区域特征点计算相机运动矩阵M；S3：目标运动补偿阶段，根据目标框集合和相机运动矩阵M对第一目标框坐标pH进行运动补偿得到第二目标框坐标pC，然后将第二目标框坐标pC赋值回目标框；S4：相邻图像帧目标关联阶段，使用多目标关联跟踪方法对相邻图像帧的目标框进行关联；S5：多帧关联找回阶段，设置丢失目标集和新增目标集，使用丢失找回策略得到多目标跟踪结果；S6：结果输出阶段，使用结果输出设备输出多目标跟踪结果；所述的丢失找回策略包括短时丢失找回策略和长时丢失找回策略；所述S5：多帧关联找回阶段，还包括：丢失目标集管理方法、新增目标集管理方法、短时丢失判断方法、短时丢失找回策略和长时丢失找回策略；所述丢失目标集管理方法包括历史丢失目标坐标更新阶段、丢失目标新增阶段和丢失目标删除阶段；首先进行历史丢失目标坐标更新阶段，对丢失目标集中的每个丢失目标框坐标进行预测，并将预测结果更新到丢失目标框；所述预测包括以下步骤：设丢失目标集中任一丢失目标框在t时刻的目标框坐标为Rtx1，ty1，tx2，ty2，并将R建模为deltaT，Vx1，Vy1，Vx1，Vy1，alpha，W，H的函数，具体公式如下： 其中，deltaT是预测时距离目标丢失时刻的时间差、Vx1是丢失目标框左上角横坐标的历史移动速度、Vy1是丢失目标左上角纵坐标的历史移动速度、Vx1是丢失目标框右下角横坐标的历史移动速度、Vy1是丢失目标框右下角纵坐标的历史移动速度、alpha是取值为0～1的矩形框膨胀系数、W是丢失目标框所在图像帧的宽、H是丢失目标框所在图像帧的高，所述历史移动速度为丢失时刻速度或平均速度或中值速度或最大速度；然后进行丢失目标新增阶段，使用特征提取方法对t图像帧丢失目标集中的每个丢失目标框的历史目标集进行丢失特征向量提取，并将所有历史目标集的丢失特征向量作为历史特征库进行存储，所述历史目标集为丢失目标框丢失前缓存的目标图像区域；接着将t图像帧丢失目标集和历史特征库新增到丢失目标集；最后进行丢失目标删除阶段，将丢失目标集中存在时长大于丢失目标最大存在时长的丢失目标框删除；所述新增目标集管理方法包括历史新增目标坐标更新阶段、新增目标阶段、新增目标删除阶段；首先进行历史新增目标坐标更新阶段，对新增目标集中的新增目标框坐标进行更新，通过新增目标框的目标框跟踪ID查找目标框集合中最新时刻新增目标框的目标框坐标并更新；然后进行新增目标阶段，使用特征提取方法对t图像帧新增目标集中的每个新增目标框进行新增特征向量提取；接着将t图像帧新增目标集和新增特征向量新增到新增目标集；最后进行新增目标删除阶段，将新增目标集中存在时长大于新增目标最大存在时长的新增目标框删除；所述短时丢失判断方法包括：对丢失目标集中每个丢失目标框进行丢失判断，将所有丢失时长小于丢失时长阈值的丢失目标框记为短时丢失目标框并存入短时丢失集；将所有丢失时长大于等于丢失时长阈值的丢失目标框记为长时丢失目标框并存入长时丢失集；所述短时丢失找回策略包括以下步骤：首先判断短时丢失集或新增目标集是否为空，若为空则不进行短时丢失目标框找回，若不为空则进行坐标匹配，对短时丢失目标框进行预测得到目标预测框，使用目标预测框的目标框坐标与新增目标集中所有新增目标框的目标框坐标进行坐标对比，将完全处在目标预测框内的新增目标框作为候选新增目标集；最后进行特征匹配，使用短时丢失集中每个短时丢失目标框在丢失时刻的丢失特征向量依次与候选新增目标集中的每个目标框的新增特征向量进行余弦相似度计算，并通过匹配相似度找回短时丢失目标框，公式表达如下：其中b是候选新增目标集中相似度最高的目标框、bj是候选新增目标集中的目标框、Bc是候选新增目标集、xa是短时丢失目标框在丢失时刻的丢失特征向量、xbj是候选新增目标集中的目标框的新增特征向量；如果b的相似度大于等于特征匹配相似度阈值，则短时丢失目标框被找回，将b的目标框跟踪ID设置为短时丢失目标框的目标框跟踪ID，同时将b从新增目标集和候选新增目标集中删除，将短时丢失目标框从丢失目标集中删除；如果b的相似度小于特征匹配相似度阈值，则短时丢失目标框未找回；所述长时丢失找回策略包括以下步骤：首先判断长时丢失集或新增目标集是否为空，若为空则不进行长时丢失目标框找回，若不为空则进行特征库匹配，使用长时丢失目标框在丢失时刻的历史特征库依次与新增目标集中的每个目标框的新增特征向量进行余弦相似度计算，并通过匹配相似度找回短时丢失目标框，公式表达如下：其中bl是新增目标集中相似度最高的目标框、bk是新增目标集中的目标框、B是新增目标集、al是长时丢失集中的目标框、xal是长时丢失目标框在丢失时刻的历史特征库中第l个丢失特征向量、xbk是新增目标集中的目标框的新增特征向量；如果bl的相似度大于等于特征匹配相似度阈值，则长时丢失目标框被找回，将bl的目标框跟踪ID设置为长时丢失目标框的目标框跟踪ID，同时将bl从新增目标集中删除，将长时丢失目标框从丢失目标集中删除；如果bl的相似度小于特征匹配相似度阈值，则长时丢失目标框未找回。

全文数据：

权利要求：

百度查询： 四川盎智未来科技有限公司 一种多目标跟踪方法、系统及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD