买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨理工大学

摘要：本发明提出了一种拥挤环境下基于机器视觉的自适应多目标跟踪方法，旨在解决拥挤场景中的目标跟踪问题。通过结合级联RANSAC和USAC方法来消除相机运动造成的误差，并通过卡尔曼滤波器进行补偿，以提高跟踪的稳定性。该跟踪器利用卡尔曼滤波器估计的轨迹与实际检测结果，计算IoU距离、马氏距离与外观特征的余弦距离，融合这些信息以形成成本矩阵，并通过全局线性匹配实现有效的数据关联。最后根据检测置信度调整噪声协方差矩阵，优化卡尔曼滤波的更新过程，以准确预测未来帧。在MOT17和MOT20数据集上的测试结果显示出本发明在复杂和拥挤环境下的高跟踪精度和鲁棒性。

主权项：1.一种拥挤环境下基于机器视觉的自适应多目标跟踪方法，其特征在于，包括以下步骤：步骤1；系统将输入的图像序列同时输入目标检测模块与相机运动补偿CameraMotionCompensation，CMC模块；步骤2：当图像输入CMC模块时，对输入图像的前一帧图像进行特征提取，得到可用于光流跟踪的特征点，随后对前一帧图像、当前帧图像与特征点应用光流跟踪，得到当前帧图像的特征点；步骤3：将当前帧特征点与前一帧特征点输入RANSAC方法进行一轮粗匹配剔除明显跟踪错误的外点，具体包括以下步骤：步骤3.1：设计RANSAC方法前需要对模型进行定义，在本发明中使用的模型为二维仿射变换矩阵： 其中，x1,y1为待仿射变换的源点，x2,y2为仿射变换后的目的点，aij为目的点相对于源点的旋转与缩放，t1、t2为目的点相对于源点的位移，方便计算，将其转换为齐次矩阵： 步骤3.2：将对提取到的特征点对进行随机采样，根据步骤3.1可知，仿射变换矩阵有6个参数，因此一次采样3个点对，根据采样得到的特征点对计算仿射变换矩阵参数，得到估计的仿射变换矩阵A： 步骤3.3：根据得到的仿射变换矩阵A计算所有点对中前一帧点的对应估计点，并计算其与点对中当前帧点的距离，将该距离作为评价指标，设定阈值θ＝0.9，将距离小于阈值的点标记为内点，否则为外点，得到当前内点集ξ；步骤3.4：若得到的内点数大于当前最大内点集的内点数，则将当前内点集ξ更新为当前最大内点集ξ*，并将当前的仿射变换矩阵A更新为当前最优仿射变换矩阵A*，重新计算最大迭代次数kmax： 其中，η＝0.99为模型置信度，m＝3表示每次采样点对的数量，ε表示内点ξ*占全部点N的比例： 步骤3.5：重复上述过程，直至迭代至最大迭代次数，输出最大内点集ξ*与最优仿射变换矩阵A*；步骤4：随后将剔除后的特征点对输入USAC方法进行第二轮精细匹配，进一步剔除外点，具体包括以下步骤：步骤4.1：在采样阶段，采用PROSAC的加权采样方法，其根据特征点对的相似度进行排序，对相似度高的特征点对优先采样；将采样得到的特征点对同RANSAC一样计算仿射变换矩阵参数，随后对该模型进行检验，使用模型可靠性ζn检验模型： 其中，Hb与Hg分别表示“可靠”模型与“不可靠”模型，ri表示所用特征点与模型的一致性关系，ri＝1表示该特征点满足模型约束，即该特征点为内点，p1|Hg近似为内点比例，pri|Hg近似满足伯努利分布；若ζn高于设定阈值，则认为所估算的模型不具有可靠性；步骤4.2：在验证了模型的可靠性后又检验了最小样本的共线性，以防止出现模型的退化现象；步骤4.3：在验证了模型后，使用GC-RANSAC中局部优化方法进一步优化模型，与RANSAC的终止条件相同，当迭代至最大迭代次数时输出最大内点集与最优仿射变换矩阵；步骤5：将剔除外点的内点集输入列文伯格-马夸尔特方法迭代求取前一帧图像到当前帧图像的单应矩阵，对单应矩阵进行分解得到前一帧图像到当前帧图像的相机位姿变换；步骤6：使用经过运动补偿的卡尔曼滤波器对跟踪对象进行运动建模，假设经过CMC模块得到的从t-1帧到t帧的仿射变换矩阵为为方便后续计算，使用的非齐次形式，被跟踪对象的估计状态为其中xc,yc为对象的中心位置，w,h为对象的宽度与高度，为对应变量相对于时间的导数，同时，设t时刻的观测向量为根据t-1时刻轨迹由卡尔曼滤波器预测的状态向量为对卡尔曼滤波器进行运动补偿后预测的状态向量为的平移部分仅影响被跟踪对象状态的中心位置，旋转与缩放部分则影响被跟踪对象状态的全部分量与噪声矩阵，因此相机的运动补偿步骤如下所示： 其中，M∈R2×2是仿射变换矩阵的旋转与缩放部分，T∈R2×1为仿射变换矩阵的平移部分，为方便计算，将其扩展为与Pt|t-1与P't|t-1分别为相机运动补偿前后卡尔曼滤波器预测协方差矩阵；步骤7：通过YOLOX目标检测方法对输入的图像序列中的每一帧进行目标检测，具体包括以下步骤：步骤7.1：输出图像中的所有目标的位置x,y,w,h以及每个检测框的类别和置信度信息并将其转换为状态向量xc,yc,w,h,xc',yc',w',h'；步骤7.2：检测结果中，目标检测框的置信度大于设定的检测框阈值时，则将这些目标检测框放到高置信度检测框集合Dethigh中，低于阈值的低分检测框放置低置信度框集合Detlow中；步骤7.3：对高分检测进行深度特征提取，用于第一轮目标关联；步骤8：将上一帧中的轨迹输入经过CMC模块补偿的卡尔曼滤波器得到当前帧的预测轨迹，结合对步骤7中高分检测Dethigh提取的深度特征，通过计算检测与轨迹的IoU距离、马氏距离与外观特征匹配进行第一轮数据关联，得到的不匹配轨迹与步骤7中的低分检测Detlow一起通过计算IoU距离来进行第二轮数据关联；步骤9：第一轮与第二轮数据关联得到匹配的轨迹应用自适应观测噪声协方差矩阵更新卡尔曼滤波器以获得当前帧的轨迹，具体包括以下步骤：步骤9.1：在获得卡尔曼滤波器对当前轨迹的状态估计及其不确定性后，还需要用该估计与对应观测更新估计以对下一帧轨迹进行估计，其中，卡尔曼滤波器使用观测噪声协方差矩阵Rt来表示观测的噪声尺度，较大的Rt意味着观测在更新阶段的权重更小，选择乘以一个放大系数α＝100，以放大置信度cz＜0.5的观测的噪声； 步骤9.2：将上述P't|t-1与用于卡尔曼滤波器的更新步骤： Pt|t＝I-KtHtP't|t-114其中，Ht为t时刻的观测矩阵，Rt为测量噪声协方差矩阵，I为单位矩阵；步骤9.3：将得到的t时刻的预测轨迹和高分检测Dethigh的深度特征一起计算IoU距离与外观特征匹配值以进行第一轮数据关联，将得到的不匹配轨迹与低分检测Detlow一起通过计算IoU距离来进行第二轮数据关联，第一轮与第二轮数据关联得到匹配的轨迹用于更新卡尔曼滤波器以获得当前帧的轨迹。

全文数据：

权利要求：

百度查询： 哈尔滨理工大学 一种拥挤环境下基于机器视觉的自适应多目标跟踪方法