申请/专利权人：常熟理工学院

申请日：2024-03-20

公开（公告）日：2024-06-21

公开（公告）号：CN117906595B

主分类号：G01C21/00

分类号：G01C21/00;G06T17/00;G06T17/05;G06T7/55;G06V20/70;G06T11/20;G01C21/20

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.05.07#实质审查的生效;2024.04.19#公开

摘要：本发明公开了一种基于特征点法视觉SLAM的场景理解导航方法及系统，包括：获取相机的实时位姿信息并通过ROS发布；将获取的RGB图和深度图合成3D点云；根据语义和深度信息，获取机器人与物体的相对位置关系；根据位姿信息将3D点云中每一帧点云拼接成全局点云地图，并发布到ROS中；获取地图点信息，并转换为点云，得到点云地图，将点云地图数据发布到ROS中，将点云地图转换为三维八叉树地图和二维栅格地图；将ORB‑SLAM3模块和实例分割网络的结果通过ROS系统以话题的形式发布订阅进行通讯传输，使用ROS导航包实施导航操作。将ORB‑SLAM3与实时实例分割方法结合建立了稠密的语义地图，能够进行场景理解。

主权项：1.一种基于特征点法视觉SLAM的场景理解导航方法，其特征在于，包括以下步骤：S01：从ORB-SLAM3获取相机的实时位姿信息并通过ROS发布；S02：将深度相机获取的RGB图和深度图合成3D点云；S03：通过实例分割网络获取的语义和深度信息，获取机器人与物体的相对位置关系；所述获取机器人与物体的相对位置关系的方法包括：S31：将YOLOv8-seg实例分割网络使用C++版本OpenCV-DNN模块进行部署；S32：将部署后的YOLOv8-seg写成ROS节点，并发布检测和分割结果；S33：将RGB图送入到YOLOv8-seg实例分割网络获取每个类别的目标检测结果；S34：从结果中读取每个类别的矩形框在像素坐标系下的坐标，并求出矩形框中心点坐标；S35：根据像素坐标系下的每个类别的中心点坐标对点云坐标系进行索引，获取图像像素坐标系下的中心点坐标对应的点云坐标；S36：通过ROS下tf坐标变换计算相机位姿与点云中每一类物体中心点位置的坐标变换关系；S37：将坐标变换关系通过ROS发布，然后在rviz中订阅；S04：根据实时位姿信息将3D点云中每一帧点云拼接成全局点云地图，将全局点云地图发布到ROS中；S05：获取ORB-SLAM3的地图点信息，并转换为点云，得到点云地图，将点云地图数据发布到ROS中，将点云地图转换为三维八叉树地图和二维栅格地图；S06：将ORB-SLAM3模块和实例分割网络的结果通过ROS系统以话题的形式发布订阅进行通讯传输，使用ROS导航包实施导航操作。

全文数据：

权利要求：

百度查询： 常熟理工学院 基于特征点法视觉SLAM的场景理解导航方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD