申请/专利权人：辉达公司

申请日：2018-10-17

公开（公告）日：2024-05-31

公开（公告）号：CN109685882B

主分类号：G06T15/20

分类号：G06T15/20;G06T15/50

优先权：["20171017 US 62/573,384","20180731 US 16/051,033"]

专利状态码：有效-授权

法律状态：2024.05.31#授权;2020.11.06#实质审查的生效;2019.04.26#公开

摘要：本公开所介绍的方法和系统使用四维4D光场作为场景的背景，而不是2D背景图像。计算光场的实现需要大量的处理能力、数据存储和时间甚至使用当前可用的硬件，所介绍的方法和系统在渲染场景之前计算和存储光场。为了减少在渲染过程期间存储和访问光场的时间，所介绍的方法和系统还使用改进的视频编解码器来将光场压缩和解压缩为2D图像。

主权项：1.一种渲染的方法，所述方法包括：接收关于要渲染的场景的信息，所述信息包括表示所述场景的前景的前景信息和表示所述场景的背景的四维4D光场；将来自虚拟视点和所述背景两者的光线投射到所述场景中以模拟光与所述场景的所述前景和所述背景的交互；以及通过将从跟踪所述光线收集的一个或更多个权重与所述4D光场和所述光线的交点处的所述4D光场的一个或更多个值相乘来确定所述背景对所述交互的贡献，其中所述值至少部分地基于所述光线与所述背景相交的方向和位置。

全文数据：在渲染中将光场作为更好的背景相关申请的交叉引用本申请要求丹尼尔·赛伯特DanielSeibert于2017年10月17日提交的题为“在渲染中将光场作为更好的背景LIGHTFIELDSASBETTERBACKGROUNDSINRENDERING”的美国临时申请序列号62573,384的权益，在此该临时申请与本申请被共同转让，其全部内容通过引用并入本文。技术领域本申请总地涉及渲染图像，更具体地，涉及渲染图像中的背景。背景技术在计算机图形中，例如，非实时的、基于物理的渲染、捕获的例如，高动态范围HDR照片或渲染的例如，天空模型图像通常用于背景。这些图像可以用作环境地图，其用作环绕背景图像和场景的光源，和或用作背板，其用作固定远景背景图像。这些图像被称为“背景图像”。当背景图像用于围绕和照亮场景时，背景图像中的特征看起来不可信，因为场景的虚拟视点例如，相机位置偏离原始位置，即背景被捕获或生成的位置。例如，当观看场景的相机的位置移动并偏离原始位置时，背景图像中更靠近相机的一些特征不会像在现实生活中那样相对于那些距离更远的特征偏移。此外，背景图像中的所有表面看起来都是漫反射的，例如，不会发生反射和折射效应。这是因为由于背景图像是二维2D图像，因此正确观看背景图像的唯一视点是原始位置，并且根据定义，背景图像中的环境是无限远的。正确照亮场景的方向数据只能从原始位置获得。因此，当投影到世界空间中时，背景图像变得与视图独立并且缺乏视差，并且不能提供新颖的照明信息。当隐身遮挡体matteobject用作背景图像的一部分时，也会发生上述问题。隐身遮挡体是占位符几何图形，其作为背景图像中选定物体的替代图形而添加。它们用于模拟计算机生成的“合成”前景物体与背景之间的交互，例如前景物体将阴影投射到隐身遮挡体上或在隐身遮挡体中看到前景物体的反射。由于隐身遮挡体的外观是从背景图像的像素导出的，因此当视点与原始位置不同时，隐身遮挡体看起来也是漫反射且不可信，并且缺少视差。注意，当考虑反射和折射时，视点总是不同于原始位置。附图说明现在结合附图参考以下描述，其中：图1示出了根据本公开的原理的采用光场作为渲染中的背景的方法的流程图；以及图2示出了根据例如在图1的上下文中所讨论的本公开的原理的、被配置为执行采用光场作为渲染中的背景的方法的示例计算机系统的框图。具体实施方式所介绍的方法和系统通过使用四维4D光场而不是2D背景图像作为场景的背景来克服所有上述问题。实现光场的计算需要大量的处理能力、数据存储和时间甚至使用当前可用的硬件，所介绍的方法和系统在渲染场景之前计算和存储光场。为了减少在渲染过程期间存储和访问光场的时间，所介绍的方法和系统可以使用改进的视频编解码器来将光场压缩和解压缩为2D图像。在渲染期间，所介绍的方法和系统访问并使用所存储的4D光场作为场景的背景。所介绍的方法和系统将光线投射到场景中以模拟光与场景的前景和背景的交互。当光线照射到hit背景或离开场景时，所介绍的方法和系统会查找来自4D光场的值以确定4D光场对所述交互的贡献。所介绍的方法和系统显著地改善了光与场景的前景和背景的交互的渲染，因为更多或全部观看方向的数据从4D光场变得可用于背景查找。相机虚拟视点旋转和运动在光场的范围内在全视差和所有视图相关的效果都是完好的情况下也变得可能。类似地，因为光场捕获依赖于视图的照明信息，所以隐身遮挡体不再呈现漫反射，而是像现实生活中那样看起来有光泽或反光。为了加速光线收敛到正确解correctsolution，所介绍的方法和系统可以在跟踪和确定光线的权重时采用诸如下一事件估计、光跟踪和光子映射之类的技术。图1示出了用4D光场作为场景的背景来渲染场景的方法100的实施例。在光场覆盖所有方向的一个实施例中，光场可以用作环境地图并且可以用作可见背景和光源以照亮场景两者。在另一实施例中，4D光场为平行平面类，并因此仅覆盖一个象限，它可以用作作为固定视角背景图像的背板。该方法可以由渲染器来执行，例如基于物理的渲染器，其将参考图2更详细地描述。该方法从步骤110开始。在步骤120，提供了表示场景的背景的4D光场。可以从现实场景或图像捕获光场或合成地生成光场。在一个实施例中，通过为环绕场景的框的每个面提供2D阵列如x*y来生成光场，所述2D阵列由用6*x*y相机拍摄的具有u*v分辨率的普通2D平面照片组成。在另一实施例中，通过存储环绕要渲染的场景的球体上的每个点的2D图像来生成光场；2D图像不需要是平面的，其可以映射到半球上。对光场数据的访问可以被参数化为光线，例如，一对3D位置和单位方向，后者可以用极坐标表示。该信息可以容易地映射到光场的本地参数化，其通常是围绕光场的表面上的2D位置和方向或一对2D坐标。注意，光场参数化不限于上述方法，并且可以使用其他参数化方法。当光场被计算并存储为2D图像流时，可以使用现有图像压缩技术和GPU图形处理器上的纹理硬件解压缩将光场压缩并存储在盘上并在渲染期间实时解压缩和解包。注意，即使当光场不是生成为2D图像流时，它仍然可以例如使用改进的视频编解码器如高效视频编解码器H.265和MPEG-H第2部分或基于矢量量化的方法来处理。使用的压缩技术是有损压缩，并且可以实现数据减少几个数量级。在一个实施例中，可以无损地压缩光场。在这样的实施例中，使用常用的算法和常规文件压缩中的现有包例如ZIP等是可能的。一些预处理变换变换，例如使用小波变换，也可以用来使得压缩效率更高。利用易于访问的光场，方法100开始渲染场景的图像。在步骤130，接收要渲染的场景的信息场景信息。可以从存储介质接收场景信息或使用应用程序编程接口直接从应用程序接收场景信息。该信息通常可以包括表示场景的前景的前景信息，例如场景的至少一个前景合成物体，以及表示场景的背景的背景信息，包括其中的隐身遮挡体。前景信息可以包括场景几何、材料信息和纹理，并且背景信息可以包括4D光场和背景图像。在步骤140，方法100通过将光线投射到场景中来开始生成光传输路径。光线被投射到场景中以模拟光与场景诸如场景的前景和背景如何交互。当光线穿过场景时，它会与场景的光源、背景、前景物体和背景物体交互。使用蒙特卡罗或准蒙特卡罗方法生成和采样光线。在一个实施例中，可以将光线从虚拟视点例如，观看场景的相机的视点投射到场景中的像素中。在另一个实施例中，光线可以从场景的光场背景投射，或者从虚拟视点和光场背景两者投射，例如在双向路径追踪或光子映射中。注意，在本公开中，光线不仅包括初级光线，即源自虚拟视点或光场光源的光线，还包括次级光线，即从新的方向上的先前交点投射的那些光线。在步骤150，当光线在场景周围反弹时光线被跟踪。跟踪包括当光线通过反射或折射离开前景中的物体即合成物体的表面来构建光传输路径时聚集光线的权重。光传输路径的每个段称为光眼子路径，并且它们可以连接以形成许多完整的路径。通过确定光线与场景之间的任何交互的图像位置并确定该交互是否从相机位置例如，虚拟视点可见来对最终图像做出贡献。当光线从虚拟视点或光场投射时，光线被跟踪直到它们照射到背景例如，光场的边界或照射到其中的隐身遮挡体、离开场景例如，光线没有照射到任何物体或当渲染器确定路径不再值得延伸时。例如，渲染器可以根据“俄罗斯轮盘”随机结束跟踪或者当已经生成与场景的某些可配置的交互次数时结束跟踪。方法100可以使用例如下一事件估计NEE技术或其他重要性采样技术来主动估计光线的未来位置并更快地实现收敛，而不是等待光线照射到某些东西，例如背景或隐身遮挡体。在一个实施例中，方法100可以使用NEE在光线实际照射到背景或离开场景之前基于光线的方向来估计光线与背景的相交位置。当从光场和虚拟视点两者投射光线时，子路径的前缀或者彼此连接以生成完整的路径，例如，通过跟踪连接点之间的光线以确定相互可见性或通过使用最近邻居查找方法加入附近的点，或者被认为是不可连接的，例如，由于遮挡。双向路径跟踪和光子映射是跟踪从光场和虚拟视点两者投射的光线的技术的示例。应当理解，步骤140和150可以通过使用由多条光线组成的波前来并行执行，例如，投射和跟踪从虚拟视点到数千个照射点hitpoint的数千条光线。在步骤160，确定背景对光与场景的前景和背景的交互的贡献。背景对交互的贡献是通过将从跟踪光线收集的权重与在4D光场与光线的相交点处从4D光场中查找的值相乘确定的。当光线从虚拟视点投射时，基于光线如何方向与背景相交和光线与背景在何处位置相交而从4D光场中查找该值。当从背景或从虚拟视点和背景两者投射光线时，背景的贡献可以由光线相对于光场从其投射的位置和方向确定。可以使用共同重要性采样方法独立地或组合地确定该位置和方向以实现快速收敛。在所示实施例中，光源是由4D光场代表的背景的一部分。在一个实施例中，光源可以不是背景的一部分，但可以是场景中合成物体的一部分，例如汽车的前灯。在该示例中，通过考虑内部的所有透镜和反射器，可以为前灯产生一次光场，并且在场景中的前灯的位置中使用。一旦确定了贡献，就在步骤170将它们写入渲染器的存储器的帧缓冲器。它们用于渲染场景中像素的最终颜色。方法100在步骤175结束。应当理解，可以重复步骤140-160，直到累积足够的样本即光传输路径以达到收敛解。图2示出了示例计算机图形渲染计算机系统200的框图，该计算机图形渲染计算机系统200被配置为采用根据本公开的例如在图1的上下文中讨论的原理使用4D光场作为背景来渲染场景的方法。系统200的实施例可包括中央处理单元CPU210，例如，其被配置为主机处理器，和存储介质215，诸如主存储器220例如，随机存取存储器RAM和辅助存储器225。存储介质215可以非暂时性地存储控制逻辑软件，例如计算机程序产品，以及表示场景的前景和背景的数据，诸如场景信息205，其包括场景几何形状、材料信息、背景图像和4D光场。在已经确定光场对光与场景的前景和背景的交互的贡献之后，主存储器220可以将场景中的像素的最终值存储在帧缓冲器222中。主存储器220的非限制性示例包括例如随机存取存储器RAM。辅助存储器225的非限制性示例包括硬盘驱动器、可移除存储驱动器，诸如软盘驱动器、磁带驱动器或光盘驱动器。系统200的实施例还可以包括图形处理单元GPU230。在一些实施例中，为了辅助执行例如方法100的渲染方法的步骤，GPU230可以包括多个光线投射模块和光线跟踪模块。在一些实施例中，这些模块可以进一步被配置为确定背景4D光场对场景的前景和背景之间的交互的贡献。在系统200的其他实施例中，CPU210可以被配置为执行所述确定。系统200的实施例可以包括显示器240，例如计算机监视器或其他用户界面。在系统200的一些实施例中，通信总线250可以互连CPU210、主存储器220和辅助存储器225、GPU230和显示器240中的任何一个或更多个。在一些实施例中，光线投射模块和光线跟踪模块可以位于单个半导体平台上以形成GPU230。在一些实施例中，GPU230的单个半导体平台可以包括基于单一半导体的集成电路IC，诸如专用片上系统ASIC。单个半导体平台的实施例可以包括具有增强连接性的多芯片模块，其模拟片上操作以提供对传统CPU和总线实现的改进。在其他实施例中，系统200的一个或更多个组件可以单独地或以各种组合位于不同的半导体平台上。系统200的实施例可以包括现场可编程门阵列FPGA。诸如计算机程序产品之类的计算机可读指令包括计算机控制逻辑算法可以非暂时性地存储在存储介质215中，例如主存储器220和辅助存储器225中的任一个或两个。当指令被执行时，可以使诸如CPU210和或GPU230之类的处理器来执行使用4D光场作为背景来渲染场景的方法的各种步骤，例如在图1的上下文中公开的任何步骤。计算机系统200的非限制性示例实施例包括通用计算机系统、电路板系统和专用于娱乐目的的游戏控制台系统、专用系统或相关领域技术人员熟悉的其他计算机系统。例如，计算机系统200可以以台式计算机、膝上型计算机、个人数字助理PDA设备、移动电话设备、电视等形式体现。在一些实施例中，计算机系统200可以耦合到用于通信目的的网络，例如电信网络、局域网LAN、无线网络、广域网WAN，诸如因特网、对等网络、有线网络等。本申请所涉及领域的技术人员将理解，可以对所描述的实施例进行其他和进一步的添加、删除、替换和修改。

权利要求：1.一种渲染的方法，所述方法包括：接收关于要渲染的场景的信息，所述信息包括表示所述场景的前景的前景信息和表示所述场景的背景的四维4D光场；投射光线到所述场景中以模拟光与所述场景的所述前景和所述背景的交互；以及通过采用所述4D光场与所述光线交点处的所述4D光场的值来确定所述背景对所述交互的贡献。2.根据权利要求1所述的方法，还包括将所述4D光场压缩和存储为二维图像流。3.根据权利要求1所述的方法，其中，所述交互包括光与所述前景的合成物体的交互和光与所述背景的隐身遮挡体的交互。4.根据权利要求1所述的方法，其中，所述值基于所述光线与所述背景相交的位置和方向。5.根据权利要求1所述的方法，其中，所述贡献是所述值和从跟踪所述光线收集的权重的乘积。6.根据权利要求1所述的方法，其中，所述投射光线包括从虚拟视点或所述背景投射所述光线。7.根据权利要求1所述的方法，其中，所述投射光线包括从虚拟视点和所述背景两者投射所述光线。8.一种渲染器，所述渲染器包括：存储器，其被配置为存储要渲染的场景的信息，所述信息包括表示所述场景的前景的前景信息和表示所述场景的背景的四维4D光场；和图形处理单元，其耦合到所述存储器并且被配置为将光线投射到所述场景中以模拟光与所述场景的所述前景和所述背景的交互，并通过采用所述4D光场与所述光线交点处的所述4D光场的值来确定所述背景对所述交互的贡献。9.根据权利要求8所述的渲染器，其中，所述4D光场被压缩并作为二维图像流存储在所述存储器中。10.根据权利要求8所述的渲染器，其中，当所述光线撞击所述背景时或当所述光线从所述背景投射时，所述光线与所述4D光场相交。11.根据权利要求8所述的渲染器，其中，所述交互包括光与所述前景的合成物体的交互和光与所述背景的隐身遮挡体的交互。12.根据权利要求8所述的渲染器，其中，所述贡献是所述值和从跟踪所述光线收集的权重的乘积。13.根据权利要求8所述的渲染器，其中，所述光线从虚拟视点或所述背景投射。14.根据权利要求8所述的渲染器，其中，所述光线从虚拟视点和所述背景两者投射。15.一种计算机程序产品，存储在非暂时性计算机可读介质中，当所述计算机程序产品被执行时，使得处理器：接收要渲染的场景的信息，所述信息包括表示所述场景的前景的前景信息和表示所述场景的背景的四维4D光场；投射光线到所述场景中以模拟光与所述场景的所述前景和所述背景之间的交互；以及通过采用所述4D光场与所述光线交点处的所述4D光场的值来确定所述背景对所述交互的贡献。16.根据权利要求15所述的计算机程序产品，使得所述处理器将所述4D光场压缩和存储为二维图像流。17.根据权利要求15所述的计算机程序产品，其中，所述交互包括光与所述前景的合成物体的交互和光与所述背景的隐身遮挡体的交互。18.根据权利要求15所述的计算机程序产品，其中，所述贡献是所述值和从跟踪所述光线收集的权重的乘积。19.根据权利要求15所述的计算机程序产品，其中，所述光线从虚拟视点或所述背景投射。20.根据权利要求15所述的计算机程序产品，其中，所述光线从虚拟视点和所述背景两者投射。

百度查询： 辉达公司 在渲染中将光场作为更好的背景

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD