买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州图科智能信息科技有限公司

摘要：本发明公开了一种基于点云引导的多视图神经隐式表面重建方法，具体步骤如下：S1预处理步骤、S2数据采样步骤、S3梯度向量损失计算步骤、S4获取颜色值步骤、S5不确定性损失计算步骤、S6隐式位移损失计算步骤、S7损失获取步骤、S8场景表面模型获取步骤；本发明提供了解决现有方法难以重建场景细节的技术问题的一种基于点云引导的多视图神经隐式表面重建方法。

主权项：1.一种基于点云引导的多视图神经隐式表面重建方法，其特征在于，具体步骤如下：S1预处理步骤：对需要重建三维模型的场景设置相应的相机，并获取K幅场景图像和对应图像的相机信息；从K幅场景图像中依次选择一幅图像为参考图像，邻近的N-1幅图像为邻域图像；利用预训练的多视图立体网络为参考图像产生深度图和置信度图，根据光度一致性和几何一致性过滤掉不可靠的深度值；将经过过滤的参考图像的深度图进行投影产生点云，并使用主成分分析法计算点云法线；S2数据采样步骤：在K幅图像中随机选择一幅图像作为目标图像，在该目标图像中随机选择Np个像素，从相机中心O分别穿过每个像素发射Np个射线，在每条射线上采样p个采样点；S3梯度向量损失计算步骤：使用位置编码和多尺度哈希编码将步骤S2中得到的采样点进行编码，得到每个采样点的编码特征，输入由四层多层感知机MLP组成的几何网络，对每个采样点输出有符号距离值、特征向量、不确定性值，对有符号距离值求导得到梯度向量，利用该梯度向量获取Eikonal损失Leik；S4获取颜色值步骤：使用多尺度哈希编码将步骤S2中得到的采样点进行编码，得到每个采样点的编码特征，分别连接对应射线r的视角方向v、几何网络学习到的特征向量和采样点的法向向量；将相应信息数据输入由两层MLP组成的颜色网络，输出该采样点预测的颜色值；将步骤S3中学习到的有符号距离值转换为体密度，使用体渲染方式将得到的颜色值进行渲染从而得到射线r的颜色利用渲染颜色和对应的颜色真值获取颜色损失Lrgb；S5不确定性损失计算步骤：从目标图像对应的点云中随机选择Nc个点，经过S3每个点云点输出有符号距离值、特征向量、不确定性值，利用不确定性值和有符号距离值获取不确定性损失Lusdf；S6隐式位移损失计算步骤：设置阈值ε，根据S5中得到的不确定性值对点云进行过滤，对过滤后的点云进行位置编码和多尺度哈希编码，得到编码特征，输入由两层MLP组成的隐式位移网络，输出隐式位移值，利用该隐式位移值和S5中得到的有符号距离值计算隐式位移损失Lidf；S7损失获取步骤：根据S5得到的有符号距离值，将点云点投影到几何网络编码的隐式表面上，将投影位置再次投影到目标图像以及邻域图像上，利用不同视图上的投影patch计算归一化互相关值，从而进一步获取光度一致性损失Lpc；对S5中得到的有符号距离值求导，得到点云点所在位置的梯度向量，利用该梯度向量和S1计算的点云法线以计算法线损失Ln；S8场景表面模型获取步骤：在训练过程中不断重复步骤S2至S7，直至达到预设的迭代次数；训练完成后，将S3中的几何网络学习到的有符号距离场和S6中的隐式位移网络学习到的隐式位移场相加得到最终细化的有符号距离场，采用MarchingCube算法从最终有符号距离场的零水平级中提取场景的表面模型；S3梯度向量损失计算步骤具体包括如下：S301:使用位置编码对采样点进行编码，得到编码特征，则对于一个采样点p，将其通过傅里叶级数形式来表达位置编码特征PEp更多的高频信息：PEp＝[sinp·20π,cosp·20π,....,sinp·2Lπ,cosp·2Lπ]其中L是位置编码使用的级数，p为采样点；S302:使用多尺度哈希编码对采样点进行编码，得到可学习的特征向量；即在空间中构建一个带有可学习参数θ的多分辨率特征网格ψ为特征向量，其分为L个层级，每个层级含有个T特征向量，即每个层级的哈希表大小为T，而每个特征向量的维度为F；每个层级的特征网格是独立的，特征向量被存储在网格的顶点上；为了结合不同频率的特征，网格的分辨率是在几何空间中的采样，第l层级的哈希网格分辨率Rl可以由如下公式定义； 其中Rmax为网格的最高分辨率，Rmin为网格的最低分辨率，b为生长因子，随着L的变化而变化；对于一个采样点p，通过插值来得到每个层级的哈希网格上的编码特征并将它们连接在一起形成哈希编码特征hp: S303:将位置编码特征PEp和哈希编码特征hp连接起来，送入四层MLP组成的几何网络，对采样点p生成有符号距离值fp、特征向量feap、不确定性值σ2p；对有符号距离值求导得到梯度向量▽fp，利用该梯度向量设计Eikonal损失Leik如如下公式： 其中M是采样光线的数量，p是每条光线上采样点的数量，pi,j代表着第i条光线上的第j个采样点；S4获取颜色值步骤具体包括如下步骤：S401:使用与S302相同的多尺度哈希编码将步骤S2中得到的采样点p进行编码，得到哈希编码特征hp，分别连接对应射线r的视角方向v、几何网络学习到的特征向量feap和采样点的梯度向量▽fp，输入由两层MLP组成的颜色网络，输出该采样点预测的颜色值Cp；S402:对于一个采样点pti，由S303得到的有符号距离值为fpti，使用Sigmoid函数将其转化为体素密度αi： 其中Φsx＝1+e-sx-1是Sigmoid函数，s是一个可训练的参数；S403:使用体渲染方式将步骤S401中得到的颜色值进行渲染从而得到射线r的颜色 其中p为光线上采样点的数量，ci为颜色真值；S404:利用渲染颜色和对应的颜色真值ci设计颜色损失Lrgb： Np为像素采样点个数；S5不确定性损失计算步骤具体包括如下：S501:从目标图像对应的点云中随机选择Nc个点，经过S3中所述的位置编码和多尺度哈希编码，每个点云点xp得到位置编码特征PExp和哈希编码特征hxp，输入S303中的几何网络中，输出有符号距离值fxp、特征向量feaxp、不确定性值σ2xp；S502:利用点云的不确定性值和有符号距离值设计不确定损失Lusdf： S6隐式位移损失计算步骤具体包括如下：S601:设置阈值ε，根据S501中得到的不确定性值对点云进行过滤，过滤后的点云数量为Nf，对过滤后的点云使用与S3中相同的位置编码和和多尺度哈希编码方式，得到编码特征，并输入由两层MLP组成的隐式位移网络，对于点云点xp输出隐式位移值fdxp；S602:隐式位移场是在有符号距离场基础上上的细化场函数，利用该隐式位移值fdxp和S501中得到的有符号距离值fxp相加得到最终的有符号距离值，并计算隐式位移损失Lidf：ffinalxp＝fxp+fdxp 其中，Nf为点云数量，ffinalxp为最终的有符号距离值，xp为点云点；S7损失获取步骤中的光度一致性损失Lpc通过如下步骤获得：S701:对于点云点xp，根据S501得到有符号距离值fxp以及其导数，xp处有符号距离值的导数▽fxp总是朝向表面外部，因此按照如下公式将点云点投影到几何网络编码的隐式表面位置tp上： S702:为保证投影位置tp恰好分布在真实表面上，使用几何一致性来约束tp的位置；即对投影位置tp再次投影到目标图像以及邻域图像上，得到目标图像Ir投影patchIrs以及邻域图像Is投影patchIss，利用不同视图上的投影patch计算归一化互相关值，具体公式如下： 其中，Cov是协方差，Var是方差；S703:根据NCCIrs,Iss值计算光度一致性损失Lpc，具体公式如下： 通过选择对4幅邻域视图计算NCCIrs,Iss值，之后取平均值作为光度一致性损失；S7损失获取步骤中的法线损失Ln通过如下步骤获得：S711:对步骤S5中得到的有符号距离值求导，得到点云点所在位置的梯度向量，利用该梯度向量和S1计算的点云法线计算法线的L1损失和Cosine损失Lcos，具体如下公式： 其中nxp是点云点xp的法线，▽fxp是xp处的梯度向量；S712:法线损失Ln包含L1和Lcos，Ln＝L1+Lcos。

全文数据：

权利要求：

百度查询： 杭州图科智能信息科技有限公司 一种基于点云引导的多视图神经隐式表面重建方法