申请/专利权人：成都索贝数码科技股份有限公司

申请日：2024-03-19

公开（公告）日：2024-05-31

公开（公告）号：CN117911633B

主分类号：G06T17/00

分类号：G06T17/00;G06T15/00;G06T15/06

优先权：

专利状态码：有效-授权

法律状态：2024.05.31#授权;2024.05.07#实质审查的生效;2024.04.19#公开

摘要：本申请公开了一种基于虚幻引擎的神经辐射场渲染方法及框架，首先对拍摄的待重建场景视频进行关键帧抽取得到图像序列，然后根据图像序列对三维场景结构和相机参数进行预估得到预估结果，再根据预估结果和图像序列对神经辐射场渲染框架进行训练，导出渲染素材，最后将虚幻引擎蓝图资产送入虚幻引擎进行自动渲染得到渲染结果，在虚幻引擎中呈现实时的、高质量的重建图像。通过对神经辐射场渲染框架的训练、渲染素材的自动导出以及虚幻引擎进行自动渲染能够快速获得高精度3D模型，简化3D模型的生产的过程，提高了制作效率。

主权项：1.一种基于虚幻引擎的神经辐射场渲染方法，其特征在于，所述方法应用于神经辐射场渲染框架，神经辐射场渲染框架包括关键帧提取模块、预估模块、训练模块以及渲染模块，所述方法包括：对拍摄的待重建场景视频进行关键帧抽取得到图像序列；根据所述图像序列对三维场景结构和相机参数进行预估得到预估结果；使用预计算的密度信息对光线投射算法中产生的样本点进行密度快速查询，通过instant-ngp根据预估结果和图像序列对所述神经辐射场渲染框架进行训练，导出渲染素材，所述渲染素材包括虚幻引擎蓝图资产，instant-ngp包括密度预测和颜色预测，密度预测接受哈希网格编码后的位置信息作为输入，输出1维的密度信息和15维的几何特征，颜色预测通过拼接编码后的方向信息和几何特征作为输入来预测当前样本点位置处的颜色；将所述虚幻引擎蓝图资产送入虚幻引擎，通过虚幻引擎渲染管线自动进行光线投射参数初始化、光线投射合成以及阴影生成得到渲染结果；其中光线投射参数初始化是通过场景着色器代码和相机参数计算相机前向向量和相机在局部坐标系的位置，并将相机在局部坐标系的位置转换至UVW坐标系；光线投射合成是根据最大步数、包围盒厚度以及入点进行光线投射；阴影生成是由虚幻引擎的光栅化渲染管线完成；对拍摄的待重建场景视频进行关键帧抽取得到图像序列的步骤，包括：调取ffmpeg程序对拍摄的待重建场景视频进行关键帧抽取，若待重建场景视频的分辨率大于预设阈值，则按照宽高比缩放至神经辐射场渲染框架上限。

全文数据：

权利要求：

百度查询： 成都索贝数码科技股份有限公司 一种基于虚幻引擎的神经辐射场渲染方法及框架

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD