申请/专利权人：北京航空航天大学

申请日：2021-12-29

公开（公告）日：2024-06-11

公开（公告）号：CN114283199B

主分类号：G06T7/73

分类号：G06T7/73;G06V10/26;G06V10/762

优先权：

专利状态码：有效-授权

法律状态：2024.06.11#授权;2022.04.22#实质审查的生效;2022.04.05#公开

摘要：本发明涉及一种面向动态场景的点线融合语义SLAM方法，包括以下步骤：1将RGBD相机采集到的RGB图像，通过语义分割网络分割出场景中的动态物体；同时对采集得到的深度图像进行聚类，得到当前图像的语义分割网络分割结果和深度图聚类结果；2对步骤1中获取的RGB图像同时提取点特征和线特征，对特征点进行完整保留不做处理，同时对线特征进行预处理，得到点特征和预处理后的线特征；3结合步骤1中获得到的语义分割网络分割结果和深度图聚类结果，对步骤2中获取的点特征和预处理后的线特征进行筛选，将位于动态物体上的点、线特征进行剔除，得到静态点、线特征；4通过步骤3中得到的静态点、线特征在动态场景下，进行比经典方法更稳定、精确的相机位姿估计。

主权项：1.一种面向动态场景的点线融合语义SLAM方法，其特征在于，包括以下步骤：（1）将RGBD相机采集到的RGB图像，通过语义分割网络分割出场景中的动态物体；同时对采集得到的深度图像进行聚类，得到当前图像的语义分割网络分割结果和深度图聚类结果；（2）对步骤（1）中获取的RGB图像同时提取点特征和线特征，对特征点进行完整保留不做处理，同时对线特征进行预处理，得到点特征和预处理后的线特征；（3）结合步骤（1）中获得到的语义分割网络分割结果和深度图聚类结果，对步骤（2）中获取的点特征和预处理后的线特征进行筛选，将位于动态物体上的点、线特征进行剔除，得到静态点、线特征；（4）通过步骤（3）中得到的静态点、线特征在动态场景下，进行相机位姿估计；所述步骤（2）具体实现如下：对于步骤（1）中获得的RGB图像，同时提取点特征和线特征，点特征采用ORB特征，线特征采用LSD线特征，利用线段的方向、线到线距离和端点到端点的距离三个参数来合并近线和消除短线，当两条线段端点之间的最小距离和一条线段中点到另一条线段的垂直距离均小于设定阈值5个像素则认为两个线段合并，得到一条附近没有近距离干扰线段的线段特征；其次，采用一种稳定快速的线特征筛选方法，首先计算被检测线段与非零深度值相交的像素的数量，然后采用均匀采样方法在直线上进行采样，统计采样点处的像素坐标，最后参照采样点的像素坐标，在深度图的对应位置上读取采样点的深度值，当采样点深度大于零，则认为采样点有效，否则无效，设定若线段上的采样点无效比例超过三分之二，则该线段为无效线段，将会被剔除，对于无效采样点少于二分之一的线特征，优先选择在无效采样点处断开；至此完成对点特征和线特征的提取和预处理，将提取得到的特征点和预处理后的特征线分别保存；所述步骤（3）具体实现如下：利用步骤（1）中获得到的语义分割网络分割结果，筛选出位于语义标签为“人”区域的特征点，并称其为初始动态点；将初始动态点，按照每个特征点的像素坐标，将特征点映射到对应深度聚类图中相应的像素坐标位置上，如果初始动态点落在某一深度聚类区域内，将该深度聚类区域标记为准动态区域，计算位于同一准动态区域内所有特征点的重投影误差，并求平均值，如果大于四个像素，则将该准动态区域称为动态区域；利用动态区域在图像中像素位置的分布，对步骤（2）中保留的特征点和预处理后的特征线进行筛选，将位于动态区域的特征点剔除，检验线段特征的端点和中点检验是否位于动态区域，如果直线的两个端点和一个中点有任意一个位于动态区域，则该线特征为动态线特征，将动态线特征剔除，最终得到静态点、线特征；所述步骤（4）具体实现如下：在得到静态点、线特征之后，同步开启三个线程：跟踪线程、局部建图线程和回环检测线程，其中，跟踪线程通过跟踪局部地图中的点、线特征获得相机的位姿，局部建图线程通过新建或者删除路标点和路标线，并结合跟踪线程获得的多个相机位姿以及回环检测的信息，对相机位姿进行统一的优化，得到更精确的相机位姿，回环检测线程是通过检测相机是否到达过先前位置，为优化提供参考，在跟踪线程和局部建图线程中进行改进创新，具体为：通过深度图将二维点特征和线特征映射到三维空间建立初始化地图，通过最小化点、线特征的重投影误差求解相机位姿，首先将空间直线重投影到图像上，计算投影直线： ，其中是由直线和相机光心构成的平面的法向量，，，为直线系数，为投影矩阵，，，，为相机内参；然后计算投影直线和图像中的匹配线段的误差，将线特征的重投影误差表示为： ，其中和分别为图像中线段特征的两个端点；点特征的重投影误差表示为： ，其中代表了三维观测点在图像中的实际位置，代表了三维空间点通过世界坐标系到像素坐标系的转换矩阵得到的像素坐标；假设在第帧图像中有个静态特征点和个静态线特征，同时假定点特征和线特征的观测误差服从高斯分布，得到最后的代价函数为： ，其中与分别表示点、线的观测协方差，和为鲁棒核函数，用来降低代价函数中的异常项： ，其中为点特征或线特征的观测方程，为可调节阈值，通过最小化代价函数，最终求得相机的位姿。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种面向动态场景的点线融合语义SLAM方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD