买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京航空航天大学

摘要：本发明公开了一种基于空间耦合的3D高斯泼溅技术的视角合成方法，本方法中多尺度网格化模块结构用于将点云进行不同尺度下的规则化，网格中心点作为初始化控制点来指导局部3D高斯的生成情况；控制点本身有自己的可学习特征向量作为局部上下文特征，局部位置感知模块将其与当前局部空间的3D高斯位置特征进行融合；3D高斯属性解码模块使用融合特征推理估计控制点生成的3D高斯属性；冗余点剪裁模块根据优化过程中的规则设置对不符合规则的控制点进行剪裁；可微光栅化模块根据指定的相机内外参，将3D高斯投影到2D图像空间中进行渲染，得到该视角下的新视角合成结果。本发明用于解决3D高斯表征下优化收敛慢、易产生较多冗余高斯的问题。

主权项：1.一种基于空间耦合的3D高斯泼溅技术的视角合成方法，其特征在于，包括如下步骤：步骤1：首先使用运动结构恢复方法从一组图像中估计点云，将点云送入多尺度网格化模块结构中，用不同分辨率的网格对点云进行体素化，网格的中心点称为控制点v，对于某一个特定的控制点v，其初始化坐标为网格中心点坐标，控制点还会初始化一个可学习的特征向量作为局部上下文特征，一个控制点对应k个3D高斯的生成，每个控制点v附带一个可学习的偏移向量∈Rk×3和一个可学习的尺度调控因子∈R3；步骤2：将相对于控制点的偏移向量送入局部位置感知模块中，为使输入的k个偏移坐标从局部位置感知模块的输出特征具有排列不变性，局部位置感知模块使用一个对称函数去聚集每个点的位置信息，模块输出表征当前局部空间k个3D高斯的位置分布特征；步骤3：将局部位置特征与控制点自身的特征进行拼接得到融合特征；步骤4：将某一个特定的控制点v相对相机的观看方向和融合特征拼接后送入3D高斯属性解码模块，分别解码得到k个3D高斯的不透明度、协方差矩阵、颜色；步骤5：根据控制点的坐标、尺度调控因子，和3D高斯的偏移向量，得到最终的3D高斯位置，并根据不透明度，设置阈值并去除低于阈值的3D高斯；步骤6：根据指定的相机内外参，将指定相机视角下的3D高斯送入可微光栅化模块，每个3D高斯包含的参数有中心位置、不透明度、三维协方差矩阵和颜色，将3D高斯投影到2D图像空间中进行渲染，得到该视角下的新视角合成结果，与该视角下的图像真值计算损失函数。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种基于空间耦合的3D高斯泼溅技术的视角合成方法