买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：辽宁师范大学

摘要：本发明公开了一种基于目标检测与深度聚类的动态场景RGB‑DSLAM方法，包括以下几个步骤：步骤一：使用目标检测算法提取图像中的动态对象的矩形检测框；步骤二：对矩形边界框内像素对应的深度数值进行K‑means聚类操作，将检测框内的像素群分割成聚类块；步骤三：计算初始位姿，利用初始位姿计算特征点的重投影误差，并统计不同部分聚类块的均值和方差；步骤四：按照均值和方差筛选检测框内符合条件的特征点匹配，利用符合条件的静态特征点计算相机位姿；本发明的有益效果是提高了相机的定位精度，剔除动态物体上的动态特征点的同时，保留了较好的静态特征点，实现了算法在动态环境下的精准定位，并具有较好的实时性和鲁棒性。

主权项：1.一种基于目标检测与深度聚类的动态场景RGB-DSLAM方法，其特征在于：包括以下步骤：步骤一：使用目标检测算法提取图像中的动态对象的矩形检测框；为了知道环境中是否存在动态对象，使用了基于深度学习的目标检测算法识别动态对象在图像中的位置，这里使用了yolov5算法去检测环境中的动态对象，将图像输入yolov5的网络模型，经过yolov5网络模型的预测，输出矩形边界框来表示动态对象所在的位置；步骤二：对矩形边界框内像素对应的深度数值进行K-means聚类操作，将检测框内的像素群分割成聚类块；Yolov5算法识别得到的矩形检测框能够选中动态对象所在的大概位置，框内像素不仅包含动态对象的像素，还有部分静态背景像素也包含其中，如果将矩形检测框内的所有特征点匹配剔除，能够过滤掉动态对象带来的影响，但是也会使部分静态背景特征点被剔除，因此需要将检测框内的动态对象与静态背景分离；经过观察，动态对象内部之间的像素深度差距不大，但是动态对象与静态背景之间的像素深度有较大的差距，根据这个特性，采用聚类的方式，能够根据像素深度实现对动态对象与静态背景的分离；K-means聚类算法能够将相似距离的元素聚拢在一起，设检测框内的深度数据集为S，聚类的类别数量k，以欧氏距离作为相似度的指标，代价函数为聚类以后最小化的每类距离的平方和。对应的代价函数如式1所示： Sk,i表示第k类深度元素中；nj表示第j类深度元素的数目；k表示组类；cj表示第j类深度聚类中心。K-Means算法的过程如下：Step1：选择聚类中心的数量为k；Step2：计算深度样本与各个聚类中心的距离；Step3：将深度样本归与其距离最近的聚类中心；Step4：求各个聚类簇的均值，并将其均值作为新的聚类中心；Step5：若各个聚类中心不再变化或者算法迭代次数超过设定阈值，则退出，否则返回Step3。检测框内的像素经过以上步骤的聚类操作以后，相似深度的像素会被聚拢在相同的聚类块。步骤三：计算初始位姿，利用初始位姿计算特征点的重投影误差，并统计不同部分聚类块的均值和方差；默认检测区域以外的像素为静态像素，其上的特征点都是静态特征点，检测区域内的特征点可以分为动态特征点和静态特征点，步骤二中对检测框内的深度信息使用K-means算法，能够将大部分静态像素和动态像素各自聚类在一起，为此，我们进行了如下的步骤：Step1：使用检测框以外的静态特征点计算初始的相机位姿；Step2：利用初始的相机位姿计算所有特征点的重投影误差；重投影误差计算的方式如下：动态特征点对应的空间点为Pc，公式2将空间点从世界坐标系转移到当前的相机坐标系： 再将相机坐标系转移到像素平面坐标系：Pu'v＝KPc＝u',v'3对于双目相机，其在右目图像中对应的像素坐标存在横坐标的变化： 其中：Pw：地图点在世界坐标系下的位置；Pc：地图点在当前相机坐标系下的位置；Rcw，tcw：当前帧相对世界坐标系的旋转和平移；Pu'v，Pu'vr：地图点在当前帧上的二维投影，其中u'，v'是横纵坐标，u'r是右目的横坐标；bf：双目相机两目之间的基线；Zc：地图点相对当前帧的深度。投影误差的计算公式如下：e2＝Puvr-Pu'vr·Puvr-Pu'vrT5Step3：将所有特征点的重投影误差数值按照聚类块和静态特征点进行分类，并计算每组的均值和方差；均值的计算公式如下： 方差的计算公式如下： 步骤四：按照均值和方差筛选检测框内符合条件的特征点匹配，计算相机位姿。重投影误差的大小能够反应单个特征点在该位姿下理论值和实际值的差值，每个聚类块中特征点的误差均值和方差，能够反应该区域内特征点的动态程度，如果聚类块特征点集合的误差均值和方差与静态特征点集合的误差均值和方差能保持在一个合理范围区间，那么说明该聚类块内特征点的动态程度相对较低，因此，为了剔除动态特征点，获得精准的相机位姿，进行了如下的步骤：Step1：静态特征点计算得到精准位姿Rcw，tcw，利用该位姿获得特征点的重投影误差，并分成为静态特征点组和聚类块组，计算每组误差的均值和方差；Step2：将聚类块组的均值和方差与静态特征点组进行对比，筛选出动态程度低的聚类块组；Step3：将符合条件的聚类块组内的特征点融入到静态特征点组中，重复Step1的步骤，直至没有聚类块组满足条件为止。

全文数据：

权利要求：

百度查询： 辽宁师范大学 一种基于目标检测与深度聚类的动态场景RGB-D SLAM方法