买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学

摘要：本发明公开了一种红外多目标跟踪方法，主要解决现有技术在目标检测时检测精度较低、模型容易过拟合的问题。其实现方案是:框选红外影像中的人、车目标，并对红外影像进行直方图均衡化，构建训练数据集；在现有RFBNet网络基础上修改其骨干网络，构建目标检测网络；利用训练数据集采用梯度下降法训练目标检测网络；将待跟踪的红外视频输入到训练好的目标检测网络，获得视频中的目标检测结果；选用DeepSORT多目标跟踪算法对目标检测结果进行数据关联，建立人、车运动轨迹，得到红外多目标跟踪结果。本发明减小了目标检测模型的过拟合程度，提高了跟踪精度，可用于复杂红外场景中对行人及车辆的多目标实时跟踪。

主权项：1.一种红外视频多目标跟踪方法，其特征在于，包括：（1）对包含人、车的红外影像进行直方图均衡化矫正，框选出矫正后影像中人、车对象的边界框标签，随机选取90%的矫正后影像及其对应的标签作为训练数据集；实现如下：（1a）统计一张红外影像中0至255每个灰度值出现的次数，得到灰度分布直方图；（1b）根据灰度分布直方图，计算红外影像中每个像素的新灰度值p： 式中，为该红外影像像素点的个数，为该像素原本的灰度值，表示灰度分布直方图中灰度对应的值；（1c）利用上述公式计算红外影像中所有像素点的新灰度值，得到直方图均衡化后的红外影像；（2）构建目标检测网络：使用RFBNet网络作为基础，修改其骨干网络，即将该骨干网络所有卷积模块的第二个卷积层替换为SK注意力层；在SK注意力层内设置2个卷积分支，分别用于进行卷积核大小为和且分组数为2的分组卷积运算；并设置SK注意力层的特征压缩比例为原通道数的12；得到目标检测网络，其包含有6个卷积模块，每个卷积模块后为一个最大池化层；前两个卷积块依次包含有一个卷积层和一个SK注意力层，后4个卷积块结构为一个卷积层、一个SK注意力层和另一个卷积层；结构关系具体如下：第一卷积层-第一SK注意力层-第一最大池化层-第二卷积层-第二SK注意力层-第二最大池化层-第三卷积层-第三SK注意力层-第四卷积层-第三最大池化层-第五卷积层-第四SK注意力层-第六卷积层-第四最大池化层-第七卷积层-第五SK注意力层-第八卷积层-第五最大池化层-第九卷积层-第六SK注意力层-第十卷积层-第六最大池化层；（3）使用训练数据集，采用梯度下降法训练目标检测网络，得到训练好的目标检测网络；实现如下：（3a）使用带动量的SGD随机梯度下降法作为训练优化器，设动量值为0.9，网络初始学习率为0.01，损失函数采用RFBNet原有的损失函数；（3b）在一次迭代内向网络中输入4张训练图片，经过前向传播后，网络输出本次迭代的损失值，使用该损失值对网络进行反向传播；（3c）当训练数据集内所有图片均输入过一次网络后即完成一个时期的训练，在网络训练的前5个时期的每次迭代中，通过如下公式动态调整学习率： 其中，为当前迭代轮数，为一个时期内的总迭代轮数；（3d）学习率经过前5个时期的调整后，在之后的训练中保持不变，直到时期数分别为150、200、250时，学习率变为上一时期学习率的110；（3e）使用（3a）、（3c）、（3d）中对动量、学习率的参数设置，以一个时期为单位重复（3b）的训练过程，计算每个时期内网络输出损失值的平均值，直到平均损失值停止下降，结束训练，保存网络参数，得到训练好的目标检测网络；（4）将红外视频中每一帧输入训练好的目标检测网络中，输出红外视频中每一帧的人、车检测结果；（5）选用DeepSORT多目标跟踪算法对检测结果进行数据关联、建立人、车的运动轨迹，得到红外视频多目标跟踪结果，实现如下：（5a）建立训练影像集：对红外视频中出现的人、车对象进行裁剪并缩放为64*128大小的图片，再将同一对象的图片归为一类，得到训练影像集；（5b）使用影像集采用梯度下降法训练DeepSORT多目标跟踪算法中的外观模型，得到训练好的外观模型；（5c）根据目标检测结果，在当前的视频帧中裁剪出人、车的图像，并将裁剪图像输入到练好的外观模型中，得到人、车对应的外观特征；计算当前帧所有人、车外观特征与前一帧所有人、车外观特征的余弦距离矩阵；（5d）使用卡尔曼滤波根据当前帧之前每一帧中人、车的位置，预测当前帧中的人、车位置；计算当前帧人、车预测位置与当前帧检测结果之间的马氏距离矩阵；（5e）设定阈值，将马氏距离矩阵中第行列元素与比较：若，则将余弦距离矩阵中第行列元素置为无穷大，得到相似度矩阵，否则，不作处理；（5f）利用相似度矩阵使用匈牙利算法，将当前帧检测结果与前一帧的检测结果进行匹配，将连续帧的匹配结果依次串连，即为人、车运动轨迹数据。

全文数据：

权利要求：

百度查询： 西安电子科技大学 红外视频多目标跟踪方法