申请/专利权人：北京大学

申请日：2021-05-27

公开（公告）日：2024-06-21

公开（公告）号：CN113850900B

主分类号：G06T17/00

分类号：G06T17/00;G06T7/55;G06T5/60;G06N3/0455;G06N3/0442;G06N3/082

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2022.01.14#实质审查的生效;2021.12.28#公开

摘要：本发明公布了一种三维重建中基于图像和几何线索恢复深度图的方法及系统，通过构建语境编码器和基于门控循环单元的迭代算法来优化深度图；系统包括：深度特征提取模块，深度估计模块，法线估计模块，深度图优化模块。本发明适用于多源数据，利用语境编码器编码图片的几何线索信息，指导基于GRU的迭代循环和多尺度优化，同时优化深度图和法线图，提升在深度的平滑性和边界准确性，从而达到更高的深度恢复精度。

主权项：1.一种三维重建中基于图像和几何线索恢复深度图像的方法，其特征是，通过构建几何编码器和基于门控循环单元的迭代算法来优化深度图；包括如下步骤：A.对输入图像进行基于编码器和解码器的深度估计，生成初始深度图Dinit；包括：A1.采用神经网络对输入图像提取得到图像的深度特征，并采用平面扫描算法构建生成体素空间，即代价空间；A2.将代价空间输入编码器-解码器结构，输出不同尺度的深度图，即生成初始深度图Dinit；使用多层卷积作为编码器Encoder，多层反卷积作为解码器Decoder，由此组成编码器-解码器结构，用于推测深度；还使用跳层连接，将编码器的第一层连接至解码器最后一层的输入，编码器的第二层连接至解码器倒数第二层的输入，依此类推，由此更好地获取低层的逐像素特征；B.进行基于点云特征的法线图估计；包括：B1.将A中深度估计得出的初始深度图Dinit反投影回代价空间，形成真实点云；B2.在真实点云一定距离内增加周围点，用于模拟深度估计的误差；B3.使用图神经网络聚合周围点的深度和特征，输出法线图；C.对初始深度图Dinit进行基于循环迭代的深度图优化，每次迭代时利用几何编码器提取几何线索，得到优化后的深度图；在每次迭代时，利用上次更新的深度图，在其周围构造体素空间，形成特征体素空间；计算主视角图像上的像素点与投影到邻居图像上的点的特征相似度作为体素的值，构成体素空间；将代价空间与初始深度图连接在一起，并通过卷积神经网络提取匹配特征；将匹配特征、几何特征编码对应图片的边缘和平面信息作为门控循环单元的输入；经过多次循环迭代，每次迭代均输出优化后的深度图；使用门控循环单元保留优化的信息，用来提取高层的信息；门控循环单元运算方式表示为：zt＝σConv3x3[ht-1,xt],Wzrt＝σConv3x3[ht-1,xt],Wrht＝tanhConv3x3[rt⊙ht-1,xt],Whht＝1-zt⊙ht-1+zt⊙ht其中，Conv3x3指3x3的卷积操作，σ是激活函数，h是隐变量，z是更新门，t是时序；假设第t次迭代产生的深度图记为Dt，利用深度图Dt构建窄带代价空间Vt，之后将几何编码器提取的信息作为指导，将代价空间和门控循环单元的隐藏信息作为输入，使用回归来预测残差Rest，表示为： Dt+1＝Dt+Rest+1其中，prob是网络回归得到的概率，probk是残差为k的概率；然后将残差加到深度图上得到优化后的深度图；最终经过多次迭代计算，得出最终的深度图；D.进行多源数据的深度图估计，多源数据包括多视角图像，稀疏深度以及点云；得到最终的深度图像；通过上述步骤，实现三维重建中基于图像和几何线索恢复深度图像。

全文数据：

权利要求：

百度查询： 北京大学 三维重建中基于图像和几何线索恢复深度图的方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD