买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨理工大学

摘要：本发明提供一种融合自监督神经辐射场NeRF的同步定位与高质量的环境重建方法SLAM。本发明的方法主要包括：首先通过双目相机采集环境信息，对图像预处理，将采集到的图像进行特征提取和匹配选出关键帧，筛除误匹配点；其次，采用二维ICP算法实现移动小车的运动轨迹估计，搭建神经辐射场监督立体网络在合成数据集上训练的模型，采用体积渲染器对每个左图像的三维特征进行NeRF循环迭代优化，得到更好的视差图；最后经过回环检测与后端优化得到更加准确的相机位姿与运动轨迹完善移动机器人重建优质的点云图，生成三维场景重建图。本发明相较于传统的下SLAM方法，本发明方案融合了神经辐射场的自监督神经网络，在立体匹配过程中追加了光损失函数，提高了三维地图重建的可靠性和清晰度，从而获得更准确的定位，更适合于室内实际应用环境。

主权项：1.一种基于自监督神经辐射场结合SLAM的建图定位算法，其特征是：算法由图像预处理、前端位姿估计、神经辐射场的神经网络、回环检测、后端优化部分组成。包括以下步骤：S1：根据权利要求1所述的建图定位算法，其特征是：使用双目摄像头从不同视角对场景进行拍摄获取全视角图像，用ORB-SLAM2进行特征匹配和提取，获取关键帧，通过图像采用KNN算法和LSH算法做误匹配点的去除，以及RANSAC算法的二次剔除。S2：根据权利要求1所述的建图定位算法，其特征是：利用二维ICP算法，根据二维ICP算法和标准值做差绘制误差曲线求解均值和方差求解位姿。S3：根据权利要求1所述的建图定位算法，其特征是：以左视图为世界坐标系，收集多视图图像结合相机位姿和内外参数输入NeRF网络结构中进行训练，生成三元组对，并通过立体匹配网络，加入光度损失和匹配网络预测的视差图和NeRF渲染的视差图之间差异的额外损失弥补光损失，通过多层感知器网络MLP来学习从光线和采样位置到颜色和密度的映射关系，最终得到处理后的视差图，通过转化为深度图得到三维点云数据。S4：根据权利要求1所述的的建图定位算法，其特征是：通过回环检测的方式帮助矫正累计误差，以构建词袋模型的方式，采用的方法是K叉树的方法来实现，依据数据库的图像获得离线词典，根据计算当前帧和历史帧的特征向量相似度进行检测。S5：根据权利要求1所述的的建图定位算法，其特征是：后端优化部分用图优化原理处理后端非线性问题，利用列文伯格-马夸尔特LM法收敛算法，对非线性函数在求导；然后采用的是g2oGeneralGraphOptimization来实现对视觉SLAM相关内容进行优化。

全文数据：

权利要求：

百度查询： 哈尔滨理工大学 基于自监督神经辐射场的双目SLAM三维重建与定位