买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京工业大学

摘要：本发明公开了一种在视觉SLAM前端去除动态特征点的方法，属于计算机视觉技术领域。该方法主要是通过将YOLOv5目标检测算法与传统视觉SLAM前端相结合，通过深度相机采集环境图像信息，对采集到的RGB图像进行ORB特征提取的同时，对其进行目标检测，对检测出的物体分为动态物体和静态物体两类，筛选并剔除仅存在于动态物体框内的特征点。之后，计算相邻两帧之间匹配对的场景流模值，建立高斯混合模型，进一步分离场景中动态物体和静态物体，剔除剩余的动态特征点。剩余的静态特征点用于特征匹配并估计相机位姿。利用本方法在ORBSLAM2前端进行测试，大大提升了其在动态环境中的定位精度，且能够满足实时性要求。

主权项：1.一种在视觉SLAM前端去除动态特征点的方法，其特征在于，包括如下步骤：Step1：使用深度相机获取彩色和深度图像，对采集到的RGB图像均匀化提取ORB特征点，并使用目标检测算法获取边界框检测结果；Step2：将边界框检测结果分类，分为动态物体和静态物体并对其建立集合，筛选出仅存在于动态物体检测框内的特征点并剔除；Step3：计算剩余特征点相邻帧间场景流，根据场景流计算结果筛选出剩余动态特征点并剔除；Step4：利用剩下的静态特征点进行特征匹配，得到最佳匹配特征点并进行相机位姿估计，得到准确的相机运动结果，从而实现准确的面向动态场景下的视觉SLAM；Step2中，剔除动态特征点的方法如下：将边界框检测结果按照动态物体和静态物体分类，假设输入YOLOv5网络模型的第N帧RGB图像的动态物体像素点集合为：静态物体像素点集合为其中为第N帧图像中的动态物体检测框内的第i个像素点，为第N帧图像中的静态物体检测框内的第j个像素点；第N帧图像中提取到的特征点集合为其中为第N帧图像中的第k个特征点；若且则判断该特征点为动态特征点并从集合中删除；Step3中，剩余特征点相邻帧间场景流的计算方法如下：对相邻两帧图像，根据Step1方法提取出特征点，并进行特征匹配，记录匹配成功的特征点并标记该特征点在前后两帧图像中的位置；根据匹配的前后两帧RGB图像中特征点位置，在深度图中找到同一特征点的深度值，记当前帧特征点三维坐标为xc,yc,zc，与之匹配的前一帧图像特征点三维坐标为xp，yp，zp，则特征点在当前帧与上一帧的三维位置变化即场景流为： Step3中，根据场景流计算结果筛选出剩余动态特征点并剔除的方法如下：依据上述计算得到的匹配成功的特征点对场景流计算其模值c和角度θ，利用高斯混合模型的方法得到各特征点的高斯值Gp，将高斯值Gp大于一定阈值G0的特征点记为动态特征点，计入集合Df＝{p|Gp＞G0}，p代表Gp＞G0的特征点，G0计算公式如下： 式3中：n为特征点个数；Hk′为使用加权平均法对每一个特征点构造的评价指标，计算公式为： 式4中：ck′为第k′个特征点对应的场景流模值，θk′为第k′个特征点对应的场景流角度，根据上述内容，可得特征点p的状态为： 即对于特征点p，若其高斯值Gp＞G0，则判断其为动态特征点，计入集合Df＝{p|Gp＞G0}并剔除，反之则为静态特征点计入集合Sf＝{p|Gp＜G0}。

全文数据：

权利要求：

百度查询： 南京工业大学 一种在视觉SLAM前端去除动态特征点的方法