买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国传媒大学
摘要:本发明提供一种基于全局语义信息和局部几何感知的神经渲染方法及系统,其中的方法包括:从多张输入图像中提取多尺度图像特征;利用所述多尺度图像特征和采样点的三维空间坐标,分别得到所述采样点对应的局部特征和全局特征;将所述局部特征、全局特征和所述采样点的位置编码送入预设的视图合成模块进行视图渲染,生成新视角下的图像。本发明通过具有多层级结构的视图合成模型架构,使用多尺度特征图训练模型在不同尺度上捕获场景信息,并通过全局特征辅助局部特征,有助于提高合成图像的质量,尤其是在复杂场景或存在多尺度结构的情况下,能够更好的确保场景的视图一致性以及在不同场景间的泛化。
主权项:1.一种基于全局语义信息和局部几何感知的神经渲染方法,其特征在于,包括如下步骤:S110:从多张输入图像中提取多尺度图像特征;其中,所述多尺度包括大尺度、中尺度和小尺度,所述多张输入图像为从当前场景中多张已知视角的图像中选取的预设数量个图像;S120:利用所述大尺度下的图像特征,依据预设的Transformer编码器得到所述当前场景的全局特征;以及分别利用所述中尺度、小尺度下的图像特征和采样点的三维空间坐标,依据极线几何约束得到所述采样点对应的中尺度和小尺度下的局部特征;S130:将所述采样点对应的局部特征、全局特征和所述采样点的位置编码送入预设的视图合成模块进行视图渲染,生成新视角下的图像;其中,所述采样点的位置编码通过对采样点的三维空间坐标进行正余弦编码获得。
全文数据:
权利要求:
百度查询: 中国传媒大学 基于全局语义信息和局部几何感知的神经渲染方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。