买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华东师范大学

摘要：本发明公开了一种基于三维高斯的可控三维场景风格化框架的构建方法，该方法提出了一个掩码匹配模块、一个颜色转换模块、一个基于图像特征对齐的风格迁移损失函数、一个场景几何和内容保护模块和一个三维高斯场景风格化模块。掩码匹配模块首先获得同一语义标签的掩码匹配组；颜色转换模块将内容图像、风格图像和三维高斯的颜色分布对齐；基于图像特征对齐的风格迁移损失函数用于实现场景风格迁移；场景几何和内容保护模块会在风格迁移过程中保持场景几何信息和内容信息；三维高斯场景风格化模块优化三维高斯参数，实现场景风格化。本发明构建的框架既达到了可控、细粒度高，同时达到了高质量的三维场景风格化。

主权项：1.一种基于三维高斯的可控三维场景风格化框架的构建方法，其特征在于，所述框架用于实现精准可控的三维场景风格化，其构建方法包括以下具体步骤：步骤一：设置掩码匹配模块用户向掩码匹配模块输入分割内容图像和风格图像的提示词组，模块调用SAM分割方式获得内容图像和风格图像的2d语义分割掩码，并选择场景内容和风格区域的对应关系；再通过将语义分割掩码的语义标签反投影到三维高斯上，以确定每个三维高斯的语义标签，将同一语义标签的内容图像、风格图像和三维高斯匹配在一起，得到掩码匹配关系；步骤二：设置颜色转换模块根据步骤一得到的掩码匹配关系，计算原始场景内容图像和场景内三维高斯的颜色分布转换为与之相匹配的风格图像区域的线性颜色转换参数，并将内容图像和三维高斯的颜色分布转换为对应风格图像区域的颜色分布；步骤三：设置基于图像特征对齐的风格迁移损失函数根据步骤一得到的掩码匹配关系，计算渲染特征图和风格特征图之间的亲和力矩阵；通过亲和力矩阵计算渲染特征图向风格特征图对齐的对齐矩阵，再利用对齐矩阵获得对齐后的特征图；使用渲染特征图和对齐后的特征图设置损失函数；步骤四：设置场景几何和内容保护模块通过渲染优化前三维高斯的初始深度图和优化阶段的高斯渲染得到的深度图计算深度损失，同时设置对高斯尺度参数和不透明度参数的正则化项，保护场景几何信息；设置内容损失函数和总变分损失，保护场景内容信息；步骤五：设置三维高斯场景风格化模块三维高斯场景风格化模块包括使用重建损失函数优化高斯参数以获得具有一致性的表达；使用步骤三和步骤四设置的多个损失函数和正则化项优化场景内的三维高斯参数，实现基于三维高斯的可控三维场景风格化。

全文数据：

权利要求：

百度查询： 华东师范大学 基于三维高斯的可控三维场景风格化框架的构建方法