买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：同济大学

摘要：本发明公开了一种基于BIM结构信息的VSLAM定位方法，属于室内定位领域，包括移动智能体、BIM数据库、边缘计算设备、用户接口，移动智能体采集视觉传感器获取的RGBRGBD图像，控制移动机器人位姿；BIM数据库存储从BIM模型中提取的建筑物三维结构和语义信息；边缘计算设备和移动智能体相连接，包括CAD重建网络和VSLAM算法两个主要线程，通过CAD重建网络求解9‑DoFCAD模型和VSLAM算法求解当前位姿、优化轻量化结构地图；用户接口接收用户命令，获取移动智能体位置，发送移动智能体控制信号并监控边缘计算设备运行情况，本发明利用BIM模型提供的结构化信息为机器人提供准确的定位源，同时避免传统的建图任务，具有轻量化、精度高等优势。

主权项：1.一种基于BIM结构信息的VSLAM定位方法，其特征在于，包括如下步骤：S1：基于BIM模型的几何信息和语义信息构建BIM数据库；S2：生成CAD模型库，并训练端到端的CAD重建网络；S3：生成轻量化结构地图；S4：运行CAD重建推断线程和VSLAM线程，并判断VSLAM是否初始化，若VSLAM已初始化，则进入S4；若VSLAM未初始化，则基于所述轻量化结构地图初始化VSLAM系统，计算CAD模型关键点，计算结构面多视图关键点，进行数据关联，并回到S3；S5：运行VSLAM重定位模块，并判断重定位是否成功，若成功，则进入S6；若未成功，则进入S7；S6：依据IMU状态判断移动智能体位置是否发生改变，若改变，则进入S8，若未改变，则进入S9；S7：依次运行VSLAM前端、数据关联、VSLAM后端和更新优化轻量化结构地图的动态构成，后进入S9；S8：运行VSLAM前端，持续跟踪相机位姿，并判断跟踪是否成功，若成功，则进入S9；若未成功，则返回S7；S9：输入当前相机位姿至用户接口，显示当前移动智能体位置；S10：判断用户接口是否发送终止定位的命令，若已发送终止定位的命令，则定位结束；若未发送终止定位的命令，则返回S4；所述S2中，对于输入视频序列的每一帧输入图像，使用端到端的CAD重建网络对图像中包含的每个物体的9-DOF位姿进行粗估计，所述端到端的CAD重建网络由Mask-RCNN网络，多尺度特征融合网络，可微CAD配准网络、几何感知CAD检索模块串联搭建，最后通过时序整合模块将连续视频帧得到的多个物体的位姿整合到一个世界坐标系下；所述可微CAD配准网络根据检测到的每个物体实例，估计其平移变化，尺度变化和旋转变化，具体为对于每一个物体i，使用如下公式计算特征描述子xi： 其中，MLP使用ReLU激活层和40％丢弃正则化；表示单个元素乘积运算符；CropD,bi表示深度图D通过边界框bi剪裁；然后，将上述的特征描述子xi、深度图D和特征图F共同输入到一个256个隐藏层的多层感知机中，预测物体的归一化坐标空间图，即得到物体的平移变化，尺度变化和旋转变化；所述几何感知CAD检索模块具体为：根据物体的NOCS图，利用联合嵌入空间得到对应的物体ID；所述S7中，所述轻量化结构地图的动态构成为物体信息，包括物体类别在物体CAD模型库中的ID和物体的9-DOF变化矩阵。

全文数据：

权利要求：

百度查询： 同济大学 一种基于BIM结构信息的VSLAM定位方法