买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：昆明物理研究所

摘要：本发明公开了一种茂密丛林区域对越境人员的智能识别跟踪方法及存储介质，采用红外多光谱图像数据，利用动植物和人物之间红外多光谱特征显著不同的特点，图像数据经过降维处理并结合SingleShotMultiBoxDetector神经网络模型后，能同时保证了人物识别的速度和精度。由于边境区域有正常生活的居民，本发明采用机器学习算法对人物进行多目标跟踪并进行异常行为分析，能够有效区分非法越境人员和正常生活的居民，提高了边防人员对边境区域中人物甄别的效率。

主权项：1.一种茂密丛林区域对越境人员的智能识别跟踪方法，其特征在于，包括以下步骤：步骤1，读取红外多光谱图像；步骤2，利用主成分分析PCA对红外多光谱图像进行降维处理，保留特征值较大的前5个光谱特征，去掉冗余的光谱特征信息；步骤3，调用SSD目标识别算法对经PCA降维后的光谱图像特征进行多目标识别，包括：步骤3.1，基于深度学习框架训练SSD目标识别算法模型；步骤3.2，利用TensorRT对模型进行序列化；步骤4，在第一次对红外视频进行多目标识别并得到识别结果后，对多目标跟踪器进行初始化针对每个目标识别框建立一个跟踪器，同时使用FAST特征点检测器检测每个目标识别框的特征点信息，并存储相应目标识别框的位置、大小、目标类型、目标编号和特征点信息，同一帧图像中的目标编号没有重复，并且同一个目标在前后帧中的编号保持不变；步骤5，在接收到新的一帧视频图像后，如果此时另外一个线程中的目标识别器没有产生新的识别结果，则执行下列子步骤：步骤5.1，基于卡尔曼滤波算法和前一帧的目标识别框结果进行预测，得到对应目标框在当前帧中位置和大小的预测结果；步骤5.2，利用前一帧目标的特征点信息和金字塔LK光流法计算当前帧中与前一帧目标特征点相对应的特征点位置信息，分别计算前一帧和当前帧中不同特征点之间的距离，这样在前后两帧图像中便得到了相同数量的距离数据，接着计算相同两个特征点在前后两帧图像中距离的比值d当前帧d前一帧，计算距离比值的中位数，利用中位数更新当前帧中目标框的大小和目标框左上角坐标位置；步骤5.3，基于步骤5.2得到当前帧中目标框位置和大小的观测值，利用卡尔曼滤波算法，在均方误差最小的情况下，对当前的状态进行修正，从而得到目标框位置和大小的最优估计值，并保证前后两帧中同一目标的编号不变；随后对当前帧中的目标框重新进行特征点检测，增加目标框的特征点数量以便在后续帧中更好的跟踪目标，同时对跟踪框进行筛选，剔除矩形框完全位于图像之外以及特征点数量过少的目标跟踪框，同时删除对应目标编号，在视频图像接收显示线程中将筛选后的跟踪框结果叠加到视频图像中；步骤6，接收到新的一帧视频图像后，此时另外一个线程中的目标识别器产生了新的识别结果，执行下列子步骤：步骤6.1，计算前一帧每个目标框和目标识别器最新结果中各个目标框之间的匹配分数，得到匹配分数矩阵，目标框之间的匹配分数计算中采用了目标不同方向上的相对位移比例和目标框的交并比相结合的方式，具体公式如下：score＝1-IOU*|xk-xk-1|wk-1*|yk-yk-1|hk-1*100式中：IOU为两个矩形框的交并比，xk、yk、xk-1、yk-1、hk-1、wk-1分别为当前帧中目标框左上角坐标、前一帧目标框左上角坐标、前一帧目标框的高度和宽度信息；针对匹配分数矩阵，利用Kuhn-Munkres匈牙利算法得到前后帧中目标框的最优匹配结果矩阵；步骤6.2，根据步骤6.1得到的匹配结果对跟踪框进行更新，删除不满足条件的跟踪框以及添加新识别出来的目标框；具体步骤如下：步骤6.2.1，如果当前帧的目标框能与前一帧的某个目标框能匹配上，则匹配计数器增加1，如果匹配计数器累计增加到或超过阈值3时，则确认接受该跟踪框结果，并利用卡尔曼滤波算法对该跟踪框位置和大小进行修正，得到最优的跟踪框估计结果，并在视频图像接收显示线程中将跟踪框结果叠加到视频图像中；步骤6.2.2，如果当前帧的目标框不能与前一帧的任何目标框匹配上，则非匹配计数器增加1，如果非匹配计数器累计增加到或超过阈值3时，则该目标跟踪框进入待删除状态；步骤6.2.3，针对步骤6.2.2得到的待删除的跟踪框，将其分别与前一帧的所有目标框进行计算交并比IOU，如果IOU的值均小于等于阈值0.8，则说明该待删除的跟踪框是新识别出来的目标框，即识别出了新的目标，随后按照步骤3对该跟踪框建立一个新的目标跟踪器以及存储相应信息，并对该跟踪框进行编号，编号原则是在当前正在使用的最大编号基础上递增，递增后的编号如果超过了0-19的范围，则从0开始递增，使用当前所有目标框没有正在使用的编号，最后在视频图像显示线程中将跟踪框结果叠加到视频图像中；步骤6.2.4，如果待删除的跟踪框与前一帧中某个目标框交并比IOU值大于0.8，则说明该跟踪框是真实无法与任何目标框匹配的的而确认要删除的，随后删除该目标框的相关信息和目标编号；步骤7，对已跟踪的人物目标进行提取运动人体行为的时空特征点，通过时空特征点映射信息建立描述符；以每个时空特征点为中心选取一个时空立方体，计算立方体内各点的Haar特征；随后利用训练好的SVM支持向量机对提取的特征进行分类，判断人物行为是否存在异常，如奔跑、爬行、跳跃和或攀爬，从而为初步区分越境人员和正常居民提供依据；步骤8，在接收到新的一帧多光谱图像后，根据目标识别器线程中是否产生新的结果重复执行步骤5、步骤6和步骤7，直至视频最后一帧图像则结束。

全文数据：

权利要求：

百度查询： 昆明物理研究所 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质