买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明公开了一种基于聚类与几何残差的动态场景RGB‑DSLAM方法。首先，结合颜色信息和深度信息对场景进行聚类，将图像划分为多个聚类块，用于对特征点进行粗过滤和细过滤；然后，通过每个聚类块上的特征点比例来对特征点进行粗过滤，计算里程计位姿信息和对应点的几何残差；最后，根据几何残差得到动态特征点，并将动态特征点占比大或几何残差超过一定阈值的聚类块定义为动态聚类块，从而实现对特征点的细过滤。应用本发明的方法求解的轨迹精度较ORB‑SLAM2算法的轨迹精度提升最高达96.68%。

主权项：1.基于聚类与几何残差的动态场景RGB-DSLAM方法，其特征在于，包括以下步骤：1根据聚类算法对图像进行聚类；SLAM系统中输入彩色图像和深度图像，通过深度信息和颜色信息进行聚类，假设第i个聚类块的聚类中心为，聚类中心的计算公式如公式1，公式2； 其中Ni是聚类块i中像素点的个数，zim为聚类块i中像素点m的深度值，rim，gim，bim分别为聚类块i中像素点m在R颜色通道，G颜色通道，B颜色通道的值，xim为聚类块i中像素点m在图像中x轴坐标，yim为聚类块i中像素点m在图像中y轴坐标；在进行聚类的迭代优化中，需要综合考虑像素点的上述6通道值，即像素点的深度值、R颜色通道、G颜色通道、B颜色通道、x轴坐标、y轴坐标；对像素点的上述6个通道的值与每个聚类中心的值进行比较，寻找具有最小距离度量的聚类块，定义距离函数如公式3,公式4，公式5: d_depthk＝α1||zk-zi||2+α2||uk-xi||2+α3||vk-4d_colork＝||r_chk-ri||2+||g_chk-gi||2+||b_5其中，zk为位于uk,vk像素点的深度值,r_chk,g_chk,b_chk分别为位于uk,vk像素点在R,G,B三通道的值；α1,α2,α3,β分别为比例系数；2根据聚类结果对特征点进行粗过滤；聚类完成之后，假设lenNi为聚类块i中提取或跟踪到的特征点数目，如果聚类块i中特征点的数目过多，则需要进行过滤，过滤的条件用公式6表示： 其中σ是常数；3基于几何残差的动态特征点检测方法；在特征提取及跟踪步骤完成之后，使用随机抽样一致算法剔除异常点，然后使用归一化八点法求解相机的初始位姿，并基于重投影误差法求解相机位姿ξ；通过位姿ξ对特征点进行投影，然后求取特征点的重投影误差和投影深度误差；参考帧中有一特征点为其对应的当前帧的匹配的特征点为假设观测到同一地图点P，若观测的地图点P发生运动，则其估计出的位姿往往会发生偏移，从而其投影的像素点的位置即为由于噪声以及匹配误差等原因，不会与重合，由此会产生一个重投影误差eIξ； 设特征点的深度值为特征点的深度值为投影的像素点处的深度值为定义深度误差ezξ 通过研究前一帧中所有特征点的重投影误差和深度误差的变化，从而拒绝前一帧中的异常值，而不将其输入到当前的PNP估计计算中；定义几何残差er，如果几何残差er幅值大于指定的阈值，则该点将被视为异常点；er＝α||eIξ||+1-α||ezξ||9er＞ethreshold10其中α为一个比例常数，ethreshold是用于确定某个点的重投影误差及深度误差是否达到足以被拒绝的阈值，||eIξ||为重投影误差的矢量大小，||ezξ||为深度误差的矢量大小；4过滤动态聚类块：通过步骤3将特征点分类之后，将相同的原理推广到聚类块分类中，提出了两种分类方法，包括1如果一个聚类块中的静态点的数量大于指定的阈值Nthreshold，则聚类块中的所有特征点都会被视为静态点；2如果一个聚类块中几何残差高的点的数量大于指定的阈值，聚类块中的所有特征点都被视为动态点；最终，剔除所有的动态特征点，然后使用PNP算法求解最终的相机位姿。

全文数据：

权利要求：

百度查询： 东南大学 基于聚类与几何残差的动态场景RGB-D SLAM方法