申请/专利权人：深圳市兰星科技有限公司

申请日：2023-04-19

公开（公告）日：2024-05-14

公开（公告）号：CN116612256B

主分类号：G06T19/00

分类号：G06T19/00;G06T17/05;G06T7/33;G06T15/00;G06V10/75;G06V10/46;G06T7/73

优先权：

专利状态码：有效-授权

法律状态：2024.05.14#授权;2024.05.10#著录事项变更;2023.09.05#实质审查的生效;2023.08.18#公开

摘要：本发明公开了一种基于NeRF的实时远程三维实景模型浏览方法，包括数据采集和模型训练，所述数据采集和模型训练包括如下步骤：确定园区范围，规划采集航线，使用倾斜摄影的测绘方式，根据实际场景要求对部分有遗漏区域和重点展示区域进行补拍；图片采集完之后，根据拍摄的图片先进行SFM重建，获得每张图像的位姿，结合NeRF技术进行深度学习的模型训练，得到可实时查询的模型，可实时查询渲染视角显示；本发明提供的一种基于NeRF的实时远程三维实景模型浏览方法具备远程与现场的连接只需非常低的网路带宽等优点，因为只需要传输一个具体的位姿信息即可，不需要传输高清的视频或图片。

主权项：1.一种基于NeRF的实时远程三维实景模型浏览方法，其特征在于，包括数据采集和模型训练，所述数据采集和模型训练包括如下步骤：确定园区范围，规划采集航线，使用倾斜摄影的测绘方式，根据实际场景要求对部分有遗漏区域和重点展示区域进行补拍；图片采集完之后生成三维模型，结合NeRF技术进行深度学习的模型训练，得到可实时查询的模型，根据拍摄的图片先进行SFM重建，获得每张图像的位姿，实时查询渲染视角显示；SFM包括图像特征提取、相机运动估计和三维重建，特征提取为从每张输入图像中提取关键点和描述子，关键点和描述子可被用来匹配不同图像之间的对应点；相机运动估计为使用特征匹配来估计相机的运动，使用基于三角测量或基础矩阵的方法来求解相机之间的运动关系；三维重建为将估计的相机运动和场景中特征点的位置结合起来，重建场景的三维结构；还包括根据位姿进行实景渲染，模拟现场人设视角浏览园区，包括如下步骤：需要估计现场参考人设的观察方向，包括具体的坐标位置和三个朝向，即[x,y,z,roll,pitch,yaw]，通过预存储并提取地图中的关键点，检测图像中的特征点，将其与地图中的特征点进行匹配，得到二维图像中每个特征点对应的三维点，从匹配点中选取足够多的点对，利用RANSAC算法来过滤误匹配的点，得到一个可靠的点对集合；根据这些点对之间的三维到二维对应关系，构建一个线性方程组；通过对线性方程组求解，得到相机的位姿；在获得位姿后，发送到远端，结合已有的NeRF模型，查看相同视角下的场景。

全文数据：

权利要求：

百度查询： 深圳市兰星科技有限公司 一种基于NeRF的实时远程三维实景模型浏览方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD