申请/专利权人：杭州电子科技大学

申请日：2021-05-18

公开（公告）日：2024-06-11

公开（公告）号：CN113537208B

主分类号：G06V10/24

分类号：G06V10/24;G06V10/40;G06V10/764;G06T7/10;G06T7/70

优先权：

专利状态码：有效-授权

法律状态：2024.06.11#授权;2021.11.09#实质审查的生效;2021.10.22#公开

摘要：本发明公开了一种基于语义ORB‑SLAM技术的视觉定位方法及系统，包括车载设备、云端服务器、地标；车载控制单元包括RGB‑D相机数据处理模块、语义识别与分割模块、位姿匹配模块、移动控制模块；通过相机数据处理模块对环境特征点提取与匹配、位姿推算、局部与非线性图优化得到全局地图，并提供地图保存与加载接口，实现AGV视觉定位技术；目标检测与匹配模块对已训练好的模型加载并推理，实现像素级语义分割，并计算地标信息，将语义标签和信息保存到全局地图；当AGV需要纯定位时，云端提供标签地标信息，再经过位姿匹配模块计算得到精确位姿；控制模块可全程控制机器人移动，辅助传感设备对环境充分扫描，实时输出移动机器人位姿。

主权项：1.一种基于语义ORB-SLAM技术的视觉定位方法，其特征在于，该方法包括以下步骤：1对图像点云数据特征追踪处理，采用相机对移动机器人所在环境进行扫描，提取环境中ORB特征点，计算特征点描述子及特征点对应3D点坐标，分布8层金字塔，同时生成关键帧信息，计算3D点投影到关键帧中的地图点坐标和相机粗略位姿；2对图像点云数据关键帧坐标、地图点坐标、相机坐标、移动机器人位姿，采用高斯牛顿法进行非线性图优化处理，并更新优化后的坐标；3对图像点云数据回环候选帧及回环候选帧的临近帧进行位置识别，计算与当前帧的相似度得分，取得分超过阈值的作为可靠回环候选帧；4对图像点云数据可靠回环候选帧进行几何验证，通过特征匹配，计算回环候选帧地图点坐标，相机位姿，与当前帧地图点，相机位姿融合并更新当前帧及临近帧坐标；5对图像点云数据坐标经非线性优化的，位置经回环检测后的地图点、关键帧、相机位姿加入局部地图，再将局部地图不断拼接融合得到全局地图；6对地图进行语义分割与目标识别，通过相机加载模型，实时推理分类，得出输入分类范畴的地标，并计算地标相对相机坐标系下坐标，同时在全局地图分割地标，加入标签融合全局地图，上传云端服务器；7进行位姿匹配，当机器人在已建图环境中重新启动，通过新扫描到的地标，与云端服务器全局地图中地标匹配，获取各分类的地标信息，由地标信息定位出机器人在世界坐标系下位姿。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于语义ORB-SLAM技术的视觉定位方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD