申请/专利权人：中国科学院空天信息创新研究院

申请日：2023-10-24

公开（公告）日：2024-06-07

公开（公告）号：CN117422804B

主分类号：G06T15/00

分类号：G06T15/00;G06T7/73;G06N3/045;G06N3/09;G01C21/00;G01C21/20;G01S19/45

优先权：

专利状态码：有效-授权

法律状态：2024.06.07#授权;2024.02.06#实质审查的生效;2024.01.19#公开

摘要：本发明提供了一种大规模城市街区三维场景渲染与目标精细空间定位方法，通过分块渲染街景空间，动态合并渲染模型的方式满足城市街区精细感知对可见即可得街区三维场景可视化的需求。本发明提出了使用NeRF渲染过程中的采样点体积密度大小实现像素级精细定位的方式，填补了神经辐射场渲染模型在街区目标精细空间定位方面的空白。该发明能够为城市规划、交通管理、环境保护等领域的决策制定和管理者提供任意视角可见即可得的三维场景模型和街区目标像素级空间定位，实现数据驱动的城市规划和管理决策，从而促进可持续城市与社区目标的实现。

主权项：1.一种大规模城市街区三维场景渲染与目标精细空间定位方法，其特征在于，包括以下步骤：S1，使用多模式传感器收集全面的街景信息，并对采集的数据进行同步、校正、标定、惯导预积分和位姿优化；S2，使用三维空间网格剖分技术与空间冗余估算技术相结合的方法对作业区进行剖分，并将数据分割为多个独立的训练场景；S3，借助能够获取像素三维空间位置的NeRF模型，对多个场景集进行并行渲染；S4，根据动态给定视点的需求，对需进行动态合并的场景进行挑选；S5，获取相关NeRF场景对于给定视点各自渲染结果像素级空间位置信息；S6，对经过筛选的场景进行外观匹配和位置颜色信息融合，达到精细空间定位的目的；所述的步骤S1包括以下步骤：S11，选择合适的街区或城市区域进行数据采集；S12，规划采集路线，以确保搭载多个传感器的车辆能够全面捕捉目标环境的信息；S13，选用适当的传感器设备，以确保捕捉到的数据能够真实反映环境；S14，设置相机的姿态，确保影像的目标是关注的信息，减少模型的参数；S15，确定采集的时间和天气条件，确保采集时的天气和光线条件有利于获取清晰、准确的街景影像数据；S16，利用数据采集过程中的时钟信息对采集到的多传感器数据进行处理，包括时间同步、数据校正以及多传感器标定；S17，对采集的时序影像进行特征点匹配，以检测出场景中变化较大的关键帧；这些关键帧的时间戳用于对惯导数据进行分段，同时利用惯导数据的预积分技术，获得了关键帧之间的相对空间位置和姿态参数；S18，分析时序影像之间同名特征点的几何关系，并结合惯导预积分得到的相对空间位置和姿态参数，对所有影像的位置和姿态参数进行优化；S19，解算出经过优化后的影像数据采集轨迹、所有影像的外方位信息以及影像中心的空间位置；所述的步骤S3包括以下步骤：S31，对输入的影像进行像素随机采样，以获取影像的相机视角；从相机坐标系原点出发，向像素方向生成射线；S32，在射线上连续采样点并使用真实世界坐标对采样点进行位置编码，以支持后续网络的训练和渲染过程；S33，同时使用两个全连接神经网络进行训练；第一个网络fa用于预测采样点的体积密度，将采样点的位置编码作为输入，同时监督第二个网络fb的训练；第二个网络fb专注于预测动态给定视点的可见性，它的输入包括相机视角位置编码和采样点的位置编码；S34，将场景外观编码、相机曝光信息编码、相机视角位置编码和第一个网络fa的输出特征传入第三个全连接神经网络fc，用于预测采样点的RGB值；通过结合体积密度信息，对像素进行渲染，实现最终的3D场景渲染效果；S35，通过不断训练和优化网络的权重，训练出最终模型，根据动态给定视点便可渲染得到3D场景；所述的步骤S4包括以下步骤：S41，获取动态给定视点与各个NeRF场景体素中心之间的距离，以判断该动态给定视点是否位于当前NeRF场景的范围之内；S42，将动态给定视点的信息输入到经过训练的全连接神经网络fb中，以进行可见性预测；S43，在经过两轮筛选后，最终获得了待进行动态合并的NeRF场景，并获得可见性最高的基准NeRF场景；所述的步骤S5包括以下步骤：S51，利用相关NeRF场景事先训练好的全连接神经网络fa，根据动态给定的视点，对所有射线采样点的体积密度进行预测；S52，从预测的体积密度中选取具有最大值的采样点，根据物理意义，体积密度较大的点在空间上越接近真实物体，因此被选取的点代表着街景中的真实物体位置；S53，通过解算所有像素产生的射线上体积密度最大的采样点的位置，确定了该像素所代表的街景目标的真实空间位置。

全文数据：

权利要求：

百度查询： 中国科学院空天信息创新研究院 一种大规模城市街区三维场景渲染与目标精细空间定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD