买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州图科智能信息科技有限公司

摘要：本发明提供一种基于先验驱动的多视图神经隐式表面重建方法，该方法以一个场景的图像集及各图像对应的相机参数作为输入，通过体渲染和表面渲染技术以无监督的方式重建出场景的表面模型。提出的方法主要包括：提出了一种可见性感知的特征一致性损失来对几何场进行显式监督，从而解决几何场欠约束的问题，进而提高重建表面的几何一致性；提出一种深度先验辅助采样策略，有助于高效地定位表面上点的位置；提出一种内部先验引导重要性渲染策略，通过挖掘网络内部的先验知识来引导网络的优化，进而缓解由体渲染带来的有偏表面渲染问题，可提高重建表面模型的保真度；利用本发明提出的策略可应用于三维重建、虚拟现实和智慧城市等多个领域。

主权项：1.一种基于先验驱动的多视图神经隐式表面重建方法，其特征在于，包括如下步骤：S1先验提取步骤：给定一个场景的K幅图像及各图像对应的相机参数，从K幅场景图像中依次选择一幅图像为参考图像，与其最邻近的N-1幅图像为邻域图像，并进行先验提取；首先，将每幅参考图像和其对应的邻域图像，输入到预训练好的多视图立体视觉网络中，得到该参考图像对应的深度图DMVS、邻域图像对应的可见性图Vm，以及参考图像和邻域图像对应的图像特征Fr和Fm；该过程将一直重复，直到所有图像都处理完，之后根据光度一致性和几何一致性滤除每张图像深度图中不可靠的深度部分；S2图像训练步骤：对于一个场景的K幅图像，从中随机选择一幅图像作为目标图像进行训练；首先，在选择的图像中随机选择Np个像素x，根据选择的图像对应的相机参数，假设射线r从相机中心o沿着其视角方向v穿过像素x进行投射；之后，采用误差有界采样和深度先验辅助采样在射线r上采样P个深度值进而得到射线上的P个采样点；S2图像训练具体包括如下步骤：S201：对于一个场景的K幅图像，从中随机选择一幅图像作为目标图像进行训练，并在该图像中随机选择Np个像素x，根据该图像对应的相机参数，假设射线r从相机中心o沿着其视角方向v穿过像素x进行投射；S202：采用误差有界采样在射线r上采样PE个采样点得到样本集具体处理如下：首先对误差阈值ε和可学习参数β分别随机初始化一个大于0的值，在[tn,tf]中进行均匀采样得到初始的样本集即并初始化β+使其满足β+β，从而能够使误差界限满足条件之后为了在保持的同时减少β+，对进行上采样得到候选样本集若被充分上采样后满足则将β+向β方向减小；误差有界采样算法在的情况下会持续迭代，根据中值定理，存在β*∈β,β+，使得并使用最多10次迭代的等分方法来寻找β*，并更新β+的值；上述上采样、迭代过程将循环进行直到达到循环的最大次数或接着，使用最终得到的和β来估计当前的不透明度即 其中δi＝ti+1-ti，σ表示体密度，其通过体密度转换函数σβs将符号距离函数值s转换为体密度，即： 最后，通过逆变换采样来得到最终的样本集S203：采用深度先验辅助采样在射线r上采样PMVS采样点，得到样本集具体处理如下：首先基于步骤S1中得到的可靠深度图DMVS提取出目标图像中的像素x对应的深度值dMVS，并将其投影到3D空间中，得到pMVS；之后，基于如下公式将3D空间中的点pMVS转换为在射线r到相机中心o的距离tMVS： 接着，在中均匀地选取PMVS采样点，得到样本集其中表示第i个和第i+1个样本之间的假设间隔，Pt是用于控制假设间隔Ht的预定义标量；对于没有可靠深度值dMVS的像素x，则从步骤S202中产生的候选样本集中随机选取PMVS样本来构建样本集S204：将基于误差有界采样得到的样本集和深度先验辅助采样得到的样本集结合得到最终的样本集，并将样本集中的采样的深度值转换为射线上的三维点tn和tf分别表示射线的近边界和远边界；S3编码步骤：构建多尺度哈希编码并将S2图像训练步骤中采样得到的三维点进行编码；S4SDF处理步骤：对于射线上采样的三维点和其对应的哈希编码特征hp，首先通过基于傅里叶级数的位置编码对三维点进行编码得到位置编码特征γp；之后，将位置编码特征γp和哈希编码特征hp进行结合并输入到由两层多层感知机MLP组成的几何网络fθ来进行SDF场学习，并输出学习到的SDFs值zs和通道数为256的SDF特征；S5颜色处理步骤：将射线r的视角方向v、几何网络学习到的SDF特征和三维点的法向输入到由两层多层感知机MLP组成的颜色网络来对颜色场进行建模，并输出学习到的射线上r采样的三维点对应的颜色值S6渲染步骤：将S4SDF处理步骤中学习到的SDFs值zs转换为体密度，并基于体渲染将S5颜色处理步骤中得到的颜色值和法向进行渲染从而得到射线r的颜色法向和渲染深度值S7重要点渲染步骤：在通过上述步骤得到当前射线r的SDFs值zs和渲染深度值后；构建样本集在样本集的基础上执行步骤S3至S6的操作，得到重要性渲染的颜色S8监督步骤：采用可见性感知的特征一致性损失Lvfc、法向一致性损失Lnormal、几何偏置损失Lbias、平滑性损失Lsmooth、Eikonal损失Leikonal和颜色损失Lrgb来进行监督步骤S1至S7的操作；S9表面模型获取步骤：在训练过程中不断重复步骤S2至S7的操作，直至达到预设的迭代次数；训练完成后，采用MarchingCube算法从几何网络学习到的SDF场的零水平级中提取场景的表面模型；其中，S7重要点渲染步骤具体处理如下：S701：基于如下公式，并根据学习到的SDFs值zs定位得到位于SDF场的零水平级的3D点的深度 S702：在[tn,tf]内均匀采样Q个点，这Q个点的深度和以及共同构成了一个新的样本集S703：在样本集的基础上执行步骤S3至S6的操作，得到重要性渲染的颜色S8监督步骤具体处理包括如下：S801：计算可见性感知的特征一致性损失；首先，基于S701得到的可以得到点的位置；然后，基于当前目标视图Ir中像素x对应的3D点通过平面诱导单应性Hm得到第m个邻域视图Im中对应的像素xm： 其中，Kr、Rr、tr和Km、Rm、tm分别表示参考视图和第m个邻域视图的相机内参、旋转和平移；接着，基于从步骤S1中从预训练的多视图立体视觉网络提取的参考视图和邻域视图的图像特征，提取像素x的图像特征和其对应像素xm的图像特征；为了增强表示能力，提取以像素x为中心的大小为Q×Q块qr对应的图像特征Fr和qr对应的块qm的相应特征Fm；Fr和Fm的光度一致性用余弦相似度来衡量： 最后，为了处理可见性的问题，进一步引入了步骤S1中从预训练的多视图立体视觉网络提取邻域视图的可见性图，并得到如下式所示的可见性感知的特征一致性损失Lvfc： 其中，Np和M分别表示小批量中像素的数量和邻域视图的数量，Nq表示块qr中的像素数量；S802：基于如下公式计算法向一致性损失Lnormal： 其中，表示由步骤S6中得到的射线r的法向，表示从预训练的Ominidata模型中提取的单目法向；S803：基于如下公式计算几何偏置损失Lbias： 其中，表示通过步骤S801计算得到的学习到的SDF的零水平集点的位置，S表示小批量中的点的几何，|S|表示的个数，表示的绝对值；S804：基于如下公式计算平滑性损失Lsmooth： 其中，np表示通过步骤S5得到的法向，ε表示值很小的常数，X是均匀采样点与近表面点的集合；S805：基于如下公式计算Eikonal损失Leikonal： S806：基于如下公式计算颜色损失Lrgb和重要点渲染的颜色损失 其中，和分别表示通过步骤S6和步骤S7计算得到的颜色值，Cr表示真值颜色值，R表示小批量中射线的集合。

全文数据：

权利要求：

百度查询： 杭州图科智能信息科技有限公司 一种基于先验驱动的多视图神经隐式表面重建方法