买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种基于数据增强的赛马场景多目标追踪方法，包括：1对原始赛马训练视频、测试视频的每一帧图像进行人工标注，得到原始赛马训练标注视频、测试标注视频；2采用ACGAN网络对原始赛马训练标注视频进行数据增强，获得GAN赛马标注伪视频；3采用FairMOT多目标追踪模型对原始赛马训练标注视频和GAN赛马标注伪视频进行训练，得到最终的赛马场景多目标追踪模型；4输入原始赛马测试视频至赛马场景多目标追踪模型中，得到处理后的赛马追踪测试视频，与原始赛马测试标注视频进行结果比较，判断追踪效果。本发明提高了目标追踪的准确度，缓解赛马场景下在出现遮挡、镜头切换和冲刺模糊现象时的身份ID频繁切换问题，进一步可实现更灵活和精确的下游应用。

主权项：1.基于数据增强的赛马场景多目标追踪方法，其特征在于，包括以下步骤：1遵循MOT16标注基准和赛马选手标注规范，对原始赛马训练视频和原始赛马测试视频的每一帧图像进行人工标注，得到原始赛马训练标注视频和原始赛马测试标注视频，标注信息包括当前帧号、当前帧标注框数量、选手标注框ID、标注框中心位置和标注框大小；2采用ACGAN网络对原始赛马训练标注视频进行数据增强，获得GAN赛马标注伪视频；3采用FairMOT多目标追踪模型对原始赛马训练标注视频和GAN赛马标注伪视频进行训练，得到最终的赛马场景多目标追踪模型；使用的FairMOT多目标追踪模型是一种一阶段多目标追踪网络模型，在主干网络上采用两个均匀的分支来分别学习目标检测任务和身份重识别任务，所述步骤3包括以下步骤：3.1构建FairMOT多目标追踪模型，具体模型结构叙述如下：使用DLA-34作为主干网络，DLA-34使用残差连接来扩展卷积神经网络，并迭代地集成网络不同阶层和块之间的信息，同时将上采样阶段的标准卷积改为3×3可变形卷积，这种结构允许在后续阶段更加细化特征，定义DLA-34的输入图像尺寸为Himage×Wimage，Himage表示输入图像的高，Wimage表示输入图像的宽；在主干网络上，FairMOT建立了目标检测分支和身份重识别分支；目标检测分支采用三个平行检测头来记录标注框的位置、偏移程度和标注框大小，三个平行检测头分别是热图检测头、中心偏移检测头和标注框尺寸检测头，每个检测头由一个3×3的卷积层和一个1×1的卷积层组成；热图的峰值被认为是物体中心的位置，使用维度为1×H×W的热图检测头来定位赛马选手的中心，H＝Himage4，W＝Wimage4；维度为2×H×W的中心偏移检测头用于校正DLA-34中下采样产生的离散化误差，以调整热图估计的中心点的位置；维度为2×H×W的标注框尺寸检测头估计标注边界框的宽度和高度；身份重识别分支的目的是为相邻帧中的同一赛马选手赋予相同的标签，不同的赛马选手赋予不同的标签，该分支使用128核的卷积层为每个边界框提取特征，生成的特征图的维度为128×H×W；FairMOT多目标追踪模型从原始赛马训练标注视频中输入一张带有标注框的图片M∈RW×H×3，R表示实数集，图片中第i个赛马选手标注框左上角和右下角的位置记分别为和表示第i个赛马选手标注框左上角位置的横坐标，表示第i个赛马选手标注框左上角位置的纵坐标，表示第i个赛马选手标注框右下角位置的横坐标，表示第i个赛马选手标注框右下角位置的纵坐标；第i个标注框的中心点位置zi表示为表示第i个赛马选手标注框中心点位置的横坐标，表示第i个赛马选手标注框中心点位置的纵坐标，其计算方式为依据FairMOT多目标追踪模型的主干网络DLA-34步长，将FairMOT多目标追踪模型中的特征图重写为表示第i个赛马选手的实际标注框中心，表示第i个赛马选手的实际标注框中心点位置的横坐标，表示第i个赛马选手的实际标注框中心点位置的纵坐标，第i个赛马选手的实际标注框的宽wi和高hi分别表示为和则第i个选手的实际标注框Gi的表示为依据热图值来计算中心点的位置，赛马选手的实际标注框中心热图值Hxy的计算公式如下： 式中，x和y为FairMOT多目标追踪模型的预测标注框的中心点位置的横坐标和纵坐标，σc为标准差，N代表当前帧中的实际标注框的数量；对应地，预测标注框的中心位置热图值用表示，则实际标注框和预测标注框之间的误差Lcenter利用热图计算如下，其中α和β为预先自主设定的参数： 对目标对象的中心位置进行预测后，使用中心偏移检测头来微调预测标注框的中心点位置，Loffset表示为预测标注框偏移损失，表示为： 式中，实际中心偏移量为对应的估计中心偏移量；得到目标对象的预测位置后，对象的尺寸由标注框尺寸检测头来估计；分别用si＝wi,hi和来表示实际标注框大小和预测标注框大小，表示预测标注框的宽，表示预测标注框的高，则标注框尺寸差异损失函数Lsize计算如下： 结合以上三项损失，用于优化FairMOT目标检测能力的损失函数Ldetect表示为：Ldetect＝Lcenter+Loffset+Lsize目标检测分支检测到目标后，身份重识别分支对标注框中的对象的特征进行学习，将当前对象与其他对象区分开来；利用卷积层提取特征并组合成特征图I∈RW×H×128，对于每一个中心点位置在x,y的对象，特征图被记为Ix,y；因此对于从检测层得到的每一个实际标注框Gi，身份特征向量表示为则身份重识别分支损失Lid计算如下： 式中，K代表标注对象类别的数量；通过Lik为单热编码将第k个对象编码，pk为第k个对象的预测的类别的可能性分布；为了平衡目标检测分支和身份重识别分支，确保模型不会过多依赖检测器，依据同方差不确定性理论引入参数u1和u2来计算整个模型的损失Lmot，表示为： 3.2FairMOT多目标追踪模型构建完成后，输入原始赛马训练标注视频和GAN赛马标注伪视频训练，得到最终的赛马场景多目标追踪模型；4输入原始赛马测试视频至赛马场景多目标追踪模型中，得到赛马场景多目标追踪模型处理后的赛马追踪测试视频，与原始赛马测试标注视频进行结果比较，判断追踪效果。

全文数据：

权利要求：

百度查询： 华南理工大学 基于数据增强的赛马场景多目标追踪方法