申请/专利权人：北京数研科技发展有限公司

申请日：2021-05-19

公开（公告）日：2024-06-11

公开（公告）号：CN113223045B

主分类号：G06F30/27

分类号：G06F30/27

优先权：

专利状态码：有效-授权

法律状态：2024.06.11#授权;2021.08.24#实质审查的生效;2021.08.06#公开

摘要：本发明公开了基于动态物体语义分割的视觉与IMU传感器融合定位系统，包括前端算法，所述前端算法分为特征提取和跟踪模块是为获取特征点的数据关联，利用KLT法对相邻帧之间的特征点进行跟踪；实例分割和跟踪模块使用DeepSORT算法进行跟踪，用于提供语义信息的数据关联；动态物体处理模块通过动态物体处理算法对动态特征点进行识别，在定位和建图中进行剔除；IMU预积分模块是对IMU测量值进行积分，采用IMU预积分作为观测值，将世界坐标系转换为局部坐标系后，进行直接积分。本发明通过利用视觉传感器与IMU传感器的优势：IMU传感器改善了单目摄像头在运动较快时图像会出现模糊而导致的定位失败问题；同时视觉传感器改善了IMU累积误差较大的问题。

主权项：1.基于动态物体语义分割的视觉与IMU传感器融合定位系统，包括前端算法，所述前端算法分为特征提取和跟踪模块、实例分割和跟踪模块、动态物体处理模块、IMU预积分模块，其中，所述特征提取和跟踪模块是为获取特征点的数据关联，利用KLT法对相邻帧之间的特征点进行跟踪；所述KLT法使用金字塔迭代的方法进行跟踪，是基于光流原理的一种特征点跟踪算法，与普通光流法直接比较像素点灰度值不同，KLT法比较像素点周围的窗口像素，以寻找最相似的像素点；所述实例分割和跟踪模块使用DeepSORT算法进行跟踪，用于提供语义信息的数据关联；所述DeepSORT算法分为四步骤包括：目标检测、特征提取、相似度计算和数据关联，所述目标检测是利用目标检测算法对原始图像进行处理，得到边界框；特征提取是对边界框图像裁剪后，利用卷积神经网络提取特征描述；相似度计算是计算每对检测和跟踪特征之间的成本矩阵；数据关联是计算出检测和跟踪目标之间最佳关联；所述动态物体处理模块通过动态物体处理算法对动态特征点进行识别，在定位和建图中进行剔除，通过将几何和语义信息进行结合，处理动态特征点；所述IMU预积分模块是对IMU测量值进行积分，通过直接积分，当前状态量依赖于先前帧的状态量，采用IMU预积分作为观测值，将世界坐标系转换为局部坐标系后，进行直接积分；所述动态物体处理模块中，基于几何约束的动态物体处理算法基于基础矩阵模型，利用RANSAC法对不符合几何模型的特征点进行检测并剔除所述基础矩阵中表示了静态地图点在两张不同视角图像上的几何关系；所述基于几何约束的动态物体处理算法只能检测和剔除较小的运动特征点，而基于语义信息的动态物体算法利用先验信息检测动态物体，根据实例分割结果，进一步得到动态物体掩膜图像，根据动态掩膜图像，对每帧图像上的动态特征点进行剔除，DeepSORT算法在得到动态物体掩膜图像后，又对掩膜图像进行了膨胀图像学操作，以扩张掩膜边界。

全文数据：

权利要求：

百度查询： 北京数研科技发展有限公司 基于动态物体语义分割的视觉与IMU传感器融合定位系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD