申请/专利权人：清华大学

申请日：2022-02-22

公开（公告）日：2024-06-25

公开（公告）号：CN114549756B

主分类号：G06T17/00

分类号：G06T17/00

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2022.06.14#实质审查的生效;2022.05.27#公开

摘要：本申请涉及公开了一种非可控光照条件下的立体重建方法及装置，其中，方法包括：获取多个单方向光照的视图，生成视图数据；对视图数据进行分割，获得物体在当前视角下的背景分割掩膜；将多个视图与背景分割掩膜进行叠加相乘，得到背景分割之后的视图；对背景分割之后的视图按照预设光照方向的顺序进行叠加，得到多通道视图数据；对多通道视图数据按照预设的编码器中的卷积模块进行多尺度的特征提取，得到预设维度的编码特征图；基于编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，并生成最终渲染结果。由此，解决了相关技术中对输入数据光照和环境条件的要求较高，输入数据的条件对最终输出结果精度和稳定性影响较大等技术问题。

主权项：1.一种非可控光照条件下的立体重建方法，其特征在于，包括以下步骤：获取多个单方向光照的视图，生成视图数据；对所述视图数据进行分割，分离出所述视图中的物体和背景，获得所述物体在当前视角下的背景分割掩膜；将所述多个视图与所述背景分割掩膜进行叠加相乘，得到背景分割之后的视图；对所述背景分割之后的视图按照预设光照方向的顺序进行叠加，得到多通道视图数据；对所述多通道视图数据按照预设的编码器中的卷积模块进行多尺度的特征提取，得到预设维度的编码特征图；以及基于所述编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，并生成最终渲染结果；其中，所述基于所述编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，包括：将所述编码特征图以及编码器中的过程特征合并，并输入不同的预设的解码器中的上采样和卷积模块中进行多尺度特征的恢复，得到几何特征图，其中，所述几何特征图包括法向量图、正面深度图、厚度分布图与表面颜色分布图中的至少一个；对所述几何特征图进行计算和渲染，获得所述不同方向光照下的物体效果图；其中，所述对所述几何特征图进行计算和渲染，获得所述不同方向光照下的物体效果图，包括：输入目标渲染的光照方向，通过预设的正面光计算模型与法向量进行计算，获得正面光照强度；输入所述目标渲染的光照方向以及相机的观测方向，通过预设的背光计算模型与所述法向量进行计算，获得背面透光强度；输入物体正面深度分布图和厚度分布图，通过预设的背光衰减计算模型计算背光经过物体的衰减系数分布图；将所述衰减系数分布图和所述背面透光强度分布进行相乘，获得背光在物体内部衰减之后的表面背光强度；将衰减之后的表面背光强度与所述正面光照强度进行叠加，获得最终物体在所述光照方向下的表面光照强度；按照预设的模型将所述表面光照强度与物体表面的纹理颜色分布图进行叠加，获得所述物体最终在所述光照方向下的渲染效果图。

全文数据：

权利要求：

百度查询： 清华大学 非可控光照条件下的立体重建方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD