申请/专利权人：交互数字CE专利控股公司

申请日：2018-09-29

公开（公告）日：2024-05-10

公开（公告）号：CN109636730B

主分类号：G06T5/70

分类号：G06T5/70;G06T5/20

优先权：["20170929 EP 17306301.7"]

专利状态码：有效-授权

法律状态：2024.05.10#授权;2020.10.27#实质审查的生效;2019.04.16#公开

摘要：本发明涉及一种用于过滤深度图中的伪像素的方法。过滤深度图以去除伪像素是很重要的。过滤伪像素时的一个问题是去除它们同时保留深度图的真实细节的边界。已知的过滤伪像素的方法是使用双边过滤器。双边过滤器提供了有效的过滤，使得能够在平滑微弱细节或噪声的同时保持深度图的锐利边缘。然而，双边过滤器不能有效地去除伪像素。事实上，伪像素与直接围绕它们的像素相比表现出锐利的边缘。换言之，即使在多次迭代过滤后，双边过滤器仍然保留伪像素。所提出的方案使得能够去除深度图中的伪像素，同时保留深度图的锐利边缘且平滑微弱细节或噪声。

主权项：1.一种用于过滤深度图中的像素的计算机实现的方法，所述方法包括，对于被称为当前像素的所述深度图的像素：-生成多个权重函数，所述多个权重函数与相应的与所述当前像素相邻的像素相关联，所述多个权重函数中的每一个具有至少一个系数，所述系数被确定为所述当前像素和至少一个邻近像素之间的几何距离的函数以及与相应的相邻的像素的强度和所述至少一个邻近像素的强度的函数；-为所述多个权重函数中的每一个确定所述权重函数的所有系数之和；-选择所述多个权重函数中的一个权重函数，所选择的权重函数具有所述所有系数的最大和；以及-通过应用与所选择的权重函数相对应的卷积过滤器，过滤所述当前像素。

全文数据：用于过滤深度图中的伪像素的方法技术领域本发明涉及深度图，更具体地，涉及一种用于在执行图像处理时过滤影响深度图使用的伪像素的方法。背景技术深度图是特殊的图像，其中每个像素记录在某个位置处被观察的对象相对于照相机的距离、或者距离的倒数、或者任何作为距离的函数的信息。可以例如使用观察相同视场的若干照相机并且利用视图之间的视差变化来推导深度而计算深度图。在实践中，估计的深度图示出了伪像素。许多原因使得深度图估计变得困难，例如：从一个照相机到下一个照相机部分遮蔽的对象；来自不同位置处被观察的对象的反射光的变化；使视差估计变得困难的没有或几乎没有纹理的表面；在照相机之间的灵敏度变化。过滤深度图以去除伪像素是很重要的。过滤伪像素时的一个问题是去除它们但保留深度图的真实细节的边界。已知的过滤伪像素的方法是使用双边过滤器。双边过滤器定义了与像素Ix，y相关联的权重函数wx，y，k，l。坐标k，l表示中心像素Ix，y与计算权重的像素Ix+k，y+l之间的偏移。wx,y,k,l＝dx+k,y+lrIx,y,Ix+k,y+l权重被称为“双边的”，因为它取决于强度项：rIx,y,Ix+k,y+l；以及独立于像素值的几何距离项dx+k,y+l。函数r和d的典型选择是：权重函数w取决于两个参数：控制像素Ix+k，y+l必须具有与中心像素Ix，y多少相同的强度的σd；控制多少距离k,l影响卷积过滤器的σr。像素的强度是像素和照相机之间的距离的函数。权重被定义在以像素Ix，y为中心的一组[2P+1×2P+1]像素内，诸如k,l∈[-P,+P]2。通过将权重函数除以权重函数内所有权重之和来定义卷积过滤器：具有i,j∈[0,2P+1]2的卷积过滤器是权重函数通过积分归一化。双边过滤器提供了有效的过滤，使得能够在平滑微弱细节或噪声的同时保持深度图的锐利边缘。然而，双边过滤器不能有效地去除伪像素。事实上，伪像素与直接围绕它们的像素表现出锐利的边缘。针对位于Ix，y处的伪像素而计算的权重函数wx，y，k，l仅对于具有与Ix，y类似的可比较幅度的周围像素具有较高权重。因此，在双边过滤级之后，未去除伪像素。换言之，即使在若干次迭代过滤后，双边过滤器仍然保留伪像素。一种选择是增加参数σd，但是这将导致伪像素以及对象边界的锐利边缘被溶解dissolve。本发明是考虑到上述情况而设计的。发明内容根据本发明的第一方面，提供了一种用于过滤深度图中的伪像素的计算机实现方法，该方法包括对于被称为当前像素的深度图的像素：-确定属于以当所述前像素为中心的所述深度图的一组像素的被称为邻近像素的至少一个像素的至少一个权重，所述权重是所述当前像素和所述至少一个邻近像素之间的几何距离、以及与所述当前像素相邻的像素的强度和所述至少一个邻近像素的强度的函数；-确定与至少一个相邻像素相对应的权重函数，其系数为所确定的权重，-通过应用与最大化其所有系数之和的归一化的权重函数相对应的卷积过滤器，过滤所述当前像素。所提出的解决方案使得能够如最小或最大过滤器一样去除深度图中的伪像素，同时如双边滤波器一样保留深度图的锐利边缘且平滑微弱细节或噪声。事实上，如果当前像素是伪像素，则其权重函数的所有系数之和与使用相邻像素的强度确定的其他权重函数的系数之和相比不是最大的，因为相邻像素中的伪像素不太频繁。在最小最大过滤器方案中，过滤后的像素等于邻近像素的最小值：或者等于邻近像素的最大值：在图像上连续调用最小过滤器以及然后最大过滤器是所谓的图像冲蚀。在图像上连续调用最大过滤器以及然后最小过滤器被称为图像扩张。冲蚀过滤器使得去除具有比它们的直接周围更大的幅度的伪像素。而扩张过滤器使得去除具有比它们的直接周围更小的幅度的伪像素。在实践中，冲蚀过滤器或扩张过滤器能够去除伪像素，但是严重影响真实对象的边界。在双边过滤器的方案中，当前像素在权重函数的计算中起着关键的作用。如果当前像素是伪像素，则权重函数突出了与当前像素相似的邻近像素。因此，在过滤之后，伪像素被保持完整，而不是被溶解或擦除。在根据本发明实施例的方案中，发明人提出当计算权重函数的权重时通过将当前像素的强度替换为相邻像素的强度来限制当前像素在计算权重函数中的作用。因此，根据本发明的方法使得能够生成与当前像素相邻的像素的数量一样多的权重函数。为了过滤当前像素，在多个生成的权重函数中选择权重函数。所选择的权重函数是最大化相应权重函数的所有系数之和的函数。然后从所选择的权重函数生成一个卷积过滤器。根据本发明的实施例，至少相邻像素的权重由下面给出：其中r是参考值，T是所述深度图的像素与参考值r之间的差异准则，x,y是所述当前像素的坐标，以及k,l表示所述当前像素Ix,y和确定权重的邻近像素之间的偏移。这种简化的权重函数可以由诸如嵌入在智能手机的具有有限计算能力的处理器运行。根据本发明的实施例中，权重函数是一维过滤器，并且与深度图的取向正交。根据本发明的实施例中，通过计算角度α来确定所述权重函数的取向，所述角度α的值是第一变量x中的当前像素的强度的局部导数与第二变量y中的当前像素的强度的局部导数之比的反正切。根据本发明的实施例，该方法还包括：-确定第一权重函数，其系数被确定为相邻像素中具有最高强度的相邻像素的强度的函数，-确定第二权重函数，其系数被确定为相邻像素中具有最低强度的相邻像素的强度的函数，-确定第三权重函数，其系数被确定为所述当前像素的强度的函数，-确定第四权重函数，其系数被确定为是相邻像素的强度的中值的强度的函数，-通过应用与最大化四个权重函数中的所有系数之和的归一化权重函数相对应的卷积过滤器，来过滤所述当前像素。仅生成四个权重函数减少了用于过滤伪像素所需的计算负载。这四个权重函数还利用了由也被嵌入在智能手机中的GPU提供的向量计算的优势。本发明的另一个目的涉及一种能够过滤深度图中的伪像素的设备，所述设备包括至少一个硬件处理器，所述硬件处理器被配置为对于被称为当前像素的所述深度图的像素：-确定用于属于以当所述前像素为中心的所述深度图的一组像素的被称为邻近像素至少一个像素的至少一个权重，所述权重是所述当前像素和所述至少一个邻近像素之间的几何距离、以及与所述当前像素相邻的像素的强度和所述至少一个邻近像素的强度的函数；-确定与至少一个相邻像素相对应的权重函数，其系数为所确定的权重，-通过应用与最大化其所有系数之和的归一化的权重函数相对应的卷积过滤器，过滤所述当前像素。根据本发明的实施例，至少一个相邻像素的权重由下面给出：其中r是参考值，T是所述深度图的像素与参考值r之间的差异准则，x,y是所述当前像素的坐标，以及k,l表示所述当前像素Ix,y和确定权重的邻近像素之间的偏移。根据本发明的实施例，权重函数是一维过滤器，并且与所述深度图的边缘的取向正交。根据本发明的实施例，通过计算角度α来确定所述权重函数的取向，所述角度α的值是第一变量x中的当前像素的强度的局部导数与第二变量y中的当前像素的强度的局部导数之比的反正切。根据本发明的实施例，硬件处理器还被配置为：-确定第一权重函数，其系数被确定为相邻像素中具有最高强度的相邻像素的强度的函数，-确定第二权重函数，其系数被确定为相邻像素中具有最低强度的相邻像素的强度的函数，-确定第三权重函数，其系数被确定为所述当前像素的强度的函数，-确定第四权重函数，其系数被确定为是相邻像素的强度的中值的强度的函数，-通过应用与最大化四个权重函数中的所有系数之和的归一化权重函数相对应的卷积过滤器，过滤所述当前像素。由本发明的要素实现的一些处理可以是计算机实现的。因此，这些要素可以采取完全硬件实施例、完全软件实施例包括固件、驻留软件、微代码等或组合这里所有通常可以被称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。此外，这些要素可以采取体现在具有体现在介质中的计算机可用程序代码的任何有形表达介质中的计算机程序产品的形式。由于本发明的要素可以用软件实现，所以本发明可以体现为计算机可读代码，用于在任何合适的载体介质上提供给可编程装置。有形载体介质可以包括诸如软盘、CD-ROM、硬盘驱动器、磁带装置或固态存储器装置等的存储介质。瞬时载体介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号例如微波或RF信号之类的信号。附图说明将仅以示例的方式并参照以下附图来描述本发明的实施例，其中：图1是图示能够运行根据本发明实施例的方法的设备的示例的示意性框图；图2表示根据本发明实施例的用于过滤深度图的伪像素的方法的步骤的流程图；图3表示以当前像素为中心的并被称为邻近像素的一组[2P+1×2P+2]像素。具体实施方式如本领域技术人员将理解的，本原理的方面可以体现为系统、方法或计算机可读介质。因此，本原理的方面可以采取完全硬件实施例、完全软件实施例包括固件、驻留软件、微代码等或组合这里所有通常可以被称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。此外，本原理的方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。图1是图示能够运行根据本发明实施例的方法的设备的示例的示意性框图。装置100包括通过总线106连接的处理器101、存储单元102、输入设备103、显示设备104和接口单元105。当然，计算机装置100的构成元件可以通过总线连接以外的连接来连接。处理器101控制装置100的操作。存储单元102存储由处理器101运行的至少一个程序以及包括深度图、由处理器101执行的计算所使用的参数、由处理器101执行的计算的中间数据等的各种数据。处理器101可以由任何已知和合适的硬件、软件或硬件和软件的组合形成。例如，处理器101可以由诸如处理电路的专用硬件形成，或者由诸如运行存储在其存储器中的程序的CPU中央处理单元的可编程处理单元形成。存储单元102可以由能够以计算机可读方式存储程序、数据等的任何合适的存储器或部件形成。存储单元102的示例包括非暂时性计算机可读存储介质，诸如半导体存储器件、以及加载到读写单元中的磁、光或磁光记录介质。程序使处理器101执行根据本公开的实施例的用于操纵光场图像的处理，如参考图2-3所描述的。输入设备103可以由键盘、诸如鼠标的定点设备等形成，以便用户使用以输入命令。输出设备104可以由用于显示的显示设备形成，例如图形用户接口GUI。例如，输入设备103和输出设备104可以通过触摸屏面板一体地形成。接口单元105提供装置100和外部装置之间的接口。接口单元105可以经由电缆或无线通信与外部装置通信。装置100可以是例如便携式设备，诸如平板电脑或智能手机。图2表示根据本发明实施例的用于过滤深度图的伪像素的方法的步骤的流程图。对深度图的所有像素运行以下步骤。在步骤200中，设备100的处理器101定义如图3所示的被称为邻近像素的、以当前像素为中心的一组[2P+1×2P+1]像素。在图3中，该组邻近像素是5x5的组。在步骤201中，设备100的处理器101计算与当前像素相关联的第一权重函数w0,0x,y的权重，其中x,y是深度图中的当前像素的坐标。如下，计算与所考虑的邻近像素相关联的权重w0,0x,y,k,l：w0,0x,y,k,l＝dx+k,y+lrIx,y,Ix+k,y+l1其中k,l表示当前像素与计算权重的坐标为x+k,y+l的邻近像素之间的偏移。权重取决于强度项：rIx,y,Ix+k,y+l，其中Ix,y是当前像素的强度且Ix+k,y+l是确定权重的邻近像素的强度；以及独立于像素值的几何距离项dx+k,y+l。在本发明的实施例中，函数r和d是：权重w取决于两个参数：控制所考虑的邻近像素必须具有与当前像素多少相同的强度的σd；控制多少距离k,l影响权重函数的σr。对于当前像素的所有邻近像素计算这样的权重。在步骤202中，从与当前像素相关联的权重函数生成第一卷积过滤器C0,0x,y。值得注意的是，上述等式通常来自于大小[2P+1×2P+1]像素的局部卷积过滤器C0,0x,y，其应用于深度图的具有坐标x,y的像素。卷积过滤器C0，0x,y[i,j]的每个系数由下面给出：i,j∈[0,2P+1]2以及权重函数w0,0x,y,k,l的所有权重之和因此，上述等式可以用卷积算子*重写：Ifilterx,y＝I*Cx,yC0,0x,y是与当前像素x,y相关联的局部卷积过滤器。换句话说，卷积过滤器等于归一化权重函数所有权重除以权重函数的积分。在步骤203中，设备100的处理器101计算与当前像素相关联的第二权重函数wn,m的权重。如下，计算与所考虑的邻近像素相关联的权重wn,mx+n,y+m,k，l：wx+n,y+m,k,l＝dx+k,y+lrIx+n,y+m,Ix+k,y+l其中k,l表示当前像素之间的偏移，n,m是所考虑的与当前像素相邻的像素的坐标和计算权重且坐标为x+k,y+l的邻近像素的坐标。在本发明的实施例中，可以定义n,m∈[-1；1]来计算9个权重函数。权重取决于强度项：rIx+n，y+m，Ix+k，y+l，其中，Ix+n，y+m是与当前像素相邻的像素的强度，Ix+k,y+l是确定权重的邻近像素的强度；以及独立于像素值的几何距离项dx+k,y+l。在本发明的实施例中，函数r和d是：对于当前像素的所有邻近像素计算这样的权重。在步骤204中，基于wn,mx+n,y+m,k,l生成与当前像素相关联的第二卷积过滤器Cn,mx,y。在本发明的实施例中，对于与当前像素相邻的每个像素运行步骤203和204，生成同样多的权重函数。在本发明的另一个实施例中，运行步骤203和步骤204三次，生成三个权重函数。在本实施例中，生成第二权重函数，其中Ix+n,y+m是与当前像素相邻的像素的强度，在当前像素相邻的所有像素中该像素具有最高的强度。生成第三权重函数，其中Ix+n,y+m是与当前像素相邻的像素的强度，在与当前像素相邻的所有像素中该像素具有最低的强度。生成第四权重函数，其中Ix+n,y+m是与当前像素相邻的像素的强度的中值。在步骤205中，在步骤201至204期间生成的多个卷积过滤器中，选择要应用于过滤当前像素的卷积过滤器。设备100的处理器101计算权重函数wn,mx+n,y+m,k,l的所有系数之和Wn,mx,y。所选择的权重函数wn,m是具有最大Wn,mx,y的函数。因此，所选择的卷积过滤器Cn,mx,y是与最大Wn,mx,y相关联的一个卷积过滤器。在步骤206中，所选择的卷积过滤器被用于计算像素Ifilterdx,y，像素Ifilterdx,y是当前像素的过滤版本。根据本发明，当当前像素是伪像素时，其权重函数w0,0x,y与其他权重函数相比具有小的和W0,0x,y，因为在计算权重函数wn,mx,y的P个相邻像素中，伪像素不太频繁。在本发明的实施例中，归一化所选择的权重函数，使得其积分等于1.0。参照图2所描述的方法可以应用于深度图的所有像素。该方法可能迭代若干次。在本发明的实施例中，基于眼睛检查，用户手动选择参数P、σd和σr。在本发明的实施例中，由以下定义更简单的权重：其中r是参考值，以及T是深度图像素与参考值r之间的差异准则。这个权重很容易用如允许在两个指令中估计w的“step”和“abs”的GPU指令计算。在本发明的另一个实施例中，权重函数是由2P+1个像素构成的一维1D权重函数。1D权重函数垂直于深度图图像的轮廓取向。通过计算局部导数Dxx,y＝Ix-1,y-Ix+1,y和Dyx,y＝Ix,y-1-Ix,y+1得到1D权重函数的取向角α。然后通过以下给出角度α的值：–α＝atanDyDx+π2在本发明的实施例中，应用于当前像素的卷积过滤器是：其中，Cn,mx,y是从具有最大Wn,mx,y的权重函数wn,mx,y计算的卷积过滤器。在这种情况下，访问Ix+icosα,y+sinα的像素坐标不是整数。利用GPU实现方式，使用双边线性内插法直接访问非整数坐标。GPU被优化以像整数坐标一样有效地访问非整数。虽然上文已经参照具体实施例描述了本发明，但是本发明不限于具体实施例，并且修改对于本领域技术人员来说将是明显的，这些修改属于本发明的范围。在参考上述仅以示例的方式给出并且不旨在限制仅由所附权利要求确定的本发明的范围的说明性实施例时，许多进一步的修改和变化将把其暗示给本领域熟练技术人员。具体地，在适当的情况下，可以互换来自不同实施例的不同特征。

权利要求：1.一种用于过滤深度图中的像素的计算机实现的方法，所述方法包括，对于被称为当前像素的所述深度图的像素：-确定用于属于以当前像素为中心的所述深度图的一组像素的至少一个像素的至少一个权重，所述至少一个像素被称为邻近像素，所述权重是所述当前像素和所述至少一个邻近像素之间的几何距离以及与所述当前像素相邻的像素的强度和所述至少一个邻近像素的强度的函数；-确定与至少一个相邻像素相对应的权重函数，其系数作为所确定的权重，-通过应用与最大化其所有系数之和的权重函数相对应的卷积过滤器，过滤所述当前像素。2.根据权利要求1的方法，其中所述至少一个相邻像素的权重由下面给出：其中r是参考值，T是所述深度图的像素与参考值r之间的差异准则，x,y是所述当前像素的坐标，以及k,l表示所述当前像素Ix,y和确定权重的邻近像素之间的偏移。3.根据权利要求1的方法，其中所述权重函数是一维过滤器，并且与所述深度图的取向正交。4.根据权利要求3的方法，其中通过计算角度α来确定所述权重函数的取向，所述角度α的值是第一变量x中的当前像素的强度的局部导数与第二变量y中的当前像素的强度的局部导数之比的反正切。5.根据权利要求4所述的方法，包括：-确定第一权重函数，其系数被确定为相邻像素中具有最高强度的相邻像素的强度的函数，-确定第二权重函数，其系数被确定为相邻像素中具有最低强度的相邻像素的强度的函数，-确定第三权重函数，其系数被确定为所述当前像素的强度的函数，-确定第四权重函数，其系数被确定为相邻像素的强度的中值的强度的函数，-通过应用四个权重函数中与最大化所有系数之和的权重函数相对应的卷积过滤器，过滤所述当前像素。6.一种能够过滤深度图中的像素的设备，所述设备包括至少一个硬件处理器，所述硬件处理器被配置为，对于被称为当前像素的所述深度图的像素：-确定用于属于以当所述前像素为中心的所述深度图的一组像素的至少一个像素的至少一个权重，所述至少一个像素被称为邻近像素，所述权重是所述当前像素和所述至少一个邻近像素之间的几何距离以及与所述当前像素相邻的像素的强度和所述至少一个邻近像素的强度的函数；-确定与至少一个相邻像素相对应的权重函数，其系数为所确定的权重，-通过应用与最大化其所有系数之和的权重函数相对应的卷积过滤器，过滤所述当前像素。7.根据权利要求6的设备，其中所述至少一个相邻像素的权重由下面给出：其中r是参考值，T是所述深度图的像素与参考值r之间的差异准则，x,y是所述当前像素的坐标，以及k,l表示所述当前像素Ix,y和确定权重的邻近像素之间的偏移。8.根据权利要求6的设备，其中所述权重函数是一维过滤器，并且与所述深度图的取向正交。9.根据权利要求8的设备，其中通过计算角度α来确定所述权重函数的取向，所述角度α的值是第一变量x中的当前像素的强度的局部导数与第二变量y中的当前像素的强度的局部导数之比的反正切。10.根据权利要求6所述的设备，包括：-确定第一权重函数，其系数被确定为相邻像素中具有最高强度的相邻像素的强度的函数，-确定第二权重函数，其系数被确定为相邻像素中具有最低强度的相邻像素的强度的函数，-确定第三权重函数，其系数被确定为所述当前像素的强度的函数，-确定第四权重函数，其系数被确定为相邻像素的强度的中值的强度的函数，-通过应用四个权重函数中与最大化所有系数之和的权重函数相对应的卷积过滤器，过滤所述当前像素。11.一种计算机可读介质，包括当由计算机运行时使计算机执行根据权利要求1的方法的指令。12.一种承载有程序代码的指令的非临时存储介质，当在计算设备上执行程序时用于执行根据权利要求1的方法。

百度查询： 交互数字CE专利控股公司 用于过滤深度图中的伪像素的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD