申请/专利权人：三星电子株式会社

申请日：2018-11-21

公开（公告）日：2024-06-04

公开（公告）号：CN109919992B

主分类号：G06T7/55

分类号：G06T7/55

优先权：["20171212 US 62/597,904","20180227 US 15/907,242"]

专利状态码：有效-授权

法律状态：2024.06.04#授权;2020.11.10#实质审查的生效;2019.06.21#公开

摘要：本发明公开一种估测图像中的深度的结构光系统及方法。接收图像，其中所述图像是已在上面投射参考光图案的场景的图像。参考光图案的投影包括预定数目个子图案。基于硬码模板匹配技术或基于所接收图像的分块对应于参考光图案的子图案的机率来对分块与子图案进行匹配。如果使用查找表，则所述表可为机率矩阵，可包含预先计算的关联性得分或者可包含预先计算的类别标识。基于分块与子图案之间的不同来确定分块的深度的估测值。

主权项：1.一种用于结构光系统估测图像中的深度的方法，所述方法包括：接收所述图像，所述图像是已在上面投射参考光图案的场景的图像，所述图像包括所述参考光图案的投影，且所述参考光图案包括预定数目个特定子图案；基于所述图像的分块对应于所述参考光图案的子图案的机率来对所述分块与所述子图案进行匹配，所述分块包括预定数目个像素，且所述机率包含在查找表中，所述查找表包括机率矩阵，对所述分块与所述子图案进行匹配包括：将包括所述分块的所述像素二值化；由所述像素形成向量；以及通过将所述像素的所述向量乘以所述机率矩阵来确定所述分块的类别来形成代表所述分块是所述参考光图案的特定子图案的机率的直方图，所述类别对应于与所述分块匹配的所述子图案；以及基于所述分块与所述子图案之间的不同来确定所述分块的深度的估测值。

全文数据：估测图像中的深度的方法[相关申请的交叉参考]本专利申请主张在2017年12月12日提出申请的美国临时专利申请第62597,904号的优先权，所述美国临时专利申请的公开内容全文并入本申请供参考。技术领域本文所公开主题涉及一种用于结构光系统的装置及方法，且更具体来说，涉及一种用于将图像的分块匹配到参考光图案的分块的装置及方法。背景技术一种广泛用于在结构光三维threedimensional，3D相机系统也称为立体相机系统stereo-camerasystem中估测深度值的技术是通过搜索图像中的分块与参考图案中的分块的最佳匹配来进行。为减少这种搜索的总体计算负担，假设图像分块位于参考图案的接近水平邻域nearhorizontalneighborhood中。另外，参考图案被设计成仅存在有限的一组独特子图案，这些子图案在水平方向上及垂直方向上重复以填充整个投影空间，这进一步简化了搜索过程。利用参考图案中独特图案的已知排列方式来识别图像分块的“类别”，并且转而确定图像分块与参考分块之间的不同。还假设图像分块以深度像素位置为中心，这也简化了深度估测的计算。然而，如果图像分块大小及搜索范围变大，则分块搜索变得耗时且需要密集的计算，从而难以实现实时深度估测。除了具有明显的计算成本之外，一些结构光三维相机系统还可能在深度估测中出现明显的噪声。结果，这种结构光三维相机系统具有高的功耗，且可能对图像缺陷imageflaw例如，像素噪声、模糊、畸变及饱和敏感。发明内容本公开的示例性实施例可提供一种快速地估测图像中的深度的结构光系统及方法。示例性实施例提供一种通过结构光系统来估测图像中的深度的方法，所述方法可包括：接收所述图像，其中所述图像可为已在上面投射参考光图案的场景的图像，其中所述图像可包括所述参考光图案的投影，且其中所述参考光图案可包括参考数目个子图案；基于所述图像的分块对应于所述参考光图案的所述参考数目个子图案中的其中一子图案的机率来对所述分块与所述其中一子图案进行匹配；以及基于所述分块与所述子图案之间的不同来确定所述分块的深度的估测值。在一个实施例中，所述机率可包含在查找表中，所述查找表可包括机率矩阵，且所述分块可包括参考数目个像素，且其中对所述分块与所述其中一子图案进行匹配还可包括：将所述分块中所包括的像素二值化；由所述像素形成向量；以及通过将所述像素的向量乘以所述机率矩阵来确定所述分块的类别，其中所述类别可对应于与所述分块匹配的所述其中一子图案。另一个示例性实施例提供一种通过结构光系统来估测图像中的深度的方法，所述方法可包括：接收所述图像，其中所述图像可为已在上面投射参考光图案的场景的图像，其中所述图像可包括所述参考光图案的投影，且其中所述参考光图案可包括参考数目个子图案；将所述图像中所包括的至少一个分块二值化，所述分块可包括参考数目个像素；通过基于经二值化的所述分块中的1的第一数目以及每一个经二值化的子图案中的1的第二数目将所述至少一个分块的误差函数Ek最小化来将所述至少一个分块匹配到所述参考光图案的其中一子图案；以及基于所述至少一个分块与所述其中一子图案之间的不同来确定所述图像的所述至少一个分块的深度的估测值。在一个实施例中，所述每一个经二值化的子图案中的1的所述第二数目可通过以下方式确定：将第一经二值化的子图案中的1的所述第二数目递增2来获得位于所述第一经二值化的子图案后面的第二经二值化的子图案中的1的所述第二数目。再一个示例性实施例提供一种通过结构光系统来估测图像中的深度的方法，所述方法可包括：接收所述图像，其中所述图像可为已在上面投射参考光图案的场景的图像，其中所述图像可包括所述参考光图案的投影，且其中所述参考光图案可包括参考数目个子图案；将所述图像的至少一个分块二值化；基于经二值化的所述分块对应于所述参考光图案的所述参考数目个子图案中的其中一子图案的机率来对经二值化的所述分块与所述其中一子图案进行匹配；以及基于所述至少一个分块与所述子图案之间的不同来确定所述至少一个分块的深度的估测值。在一个实施例中，经二值化的所述分块对应于所述其中一子图案的所述机率可包含在查找表中。所述查找表可包括机率矩阵，且所述至少一个分块可包括参考数目个像素。对经二值化的所述分块与所述其中一子图案进行匹配可包括：由经二值化的所述分块形成向量；以及通过将经二值化的所述分块的所述向量乘以所述机率矩阵来确定所述至少一个分块的类别，其中所述类别可对应于与所述至少一个分块匹配的所述其中一子图案。[本公开的效果]本文所公开的估测图像中的深度的方法可减少其他方式可能具有的噪声、模糊及畸变。另外，与其他方式相比，可减少计算负担及存储器硬件资源需求。因此，根据本发明的实施例，可快速完成图像的深度估测。附图说明在以下部分中，将参照各图中所示的实施例来阐述本文所公开的主题的各个方面，在各图中：图1A是绘示根据本发明实施例的结构光系统及参考光图案的概念图。图1B是绘示可用于形成图1A所示参考光图案的参考光图案元素的实施例的概念图。图2A是绘示将使用硬码模板匹配技术进行匹配的左侧图像输入分块与右侧图像输入分块的概念图。图2B是绘示根据本发明实施例的将使用硬码模板匹配技术进行匹配的图像输入分块与参考光图案分块的概念图。图3是绘示根据本发明实施例的使用硬码模板匹配技术确定深度信息的过程的流程图。图4是绘示根据本发明实施例的经递增分析的一系列参考光图案分块的概念图。图5是绘示根据本发明实施例的基于图像输入分块属于参考光图案分块的类别c的机率来估测深度信息的过程的概念图。图6是绘示根据本发明实施例的使用查找表来产生图像输入分块属于类别c的机率的过程的概念图。图7是绘示根据本发明实施例的以独特方式对大的图像输入分块进行细分并使用查找表来产生图像输入子分块属于类别c的机率的过程的概念图。图8是绘示根据本发明实施例的使用查找表的过程的概念图，所述查找表只包含可用于确定图像输入分块属于类别c的预先计算的类别标识。图9是绘示根据本发明实施例的使用滑动窗口slidingwindow对大的图像输入分块进行细分并使用包含预先计算的类别标识的查找表的过程的概念图。图10是绘示根据本发明实施例的基于图像输入分块与参考光图案分块匹配的机率来确定深度信息的过程的流程图。[符号的说明]100：结构光系统；101：投影仪；102：相机；103：处理器件；104：参考光图案；105：线；106：图像；107：深度图；108：参考光图案元素；301、302、303、304、305、306、307、501、502、503、602、606、702、705、802、806、902、905、1001、1002、1003、1004、1005、1006、1007：步骤；401、402、403：参考分块；601、801：4×4图像输入分块图像输入分块；603、703、803、903：键值；604、704：预先计算的关联性得分表表LUT；605：直方图；701、901：8×8图像输入分块；701a、701b、701c、701d：子分块图像输入子分块；706：特定机率直方图；804：预先计算的类别ID表表LUT；901a、901b、901c、901d：子分块；904：预先计算的类别ID表LUT；906：机率直方图；M：矩阵；P：最左侧图像输入分块左侧图像输入分块输入分块图像输入分块4×4输入图像分块分块；Qk：图像分块4×4二进制参考分块二进制参考分块参考分块图像参考分块；T：4×4块向量。具体实施方式在以下详细说明中，阐述许多具体细节来提供对本公开的透彻理解。然而，所属领域中的技术人员应理解，无需这些具体细节也可实践所公开的各个方面。在其他情形中，未详细阐述众所周知的方法、流程、组件及电路，以免使本文所公开的主题模糊不清。本说明书通篇中所提及的“一个实施例oneembodiment”或“实施例anembodiment”意指结合所述实施例所阐述的特定特征、结构或特性可包括在本文所公开的至少一个实施例中。因此，在本说明书通篇中各处出现的短语“在一个实施例中inoneembodiment”或“在实施例中inanembodiment”或者“根据一个实施例accordingtooneembodiment”或具有相似含义的其他短语可能未必均指同一实施例。此外，在一个或多个实施例中，特定特征、结构或特性可采用任何适合的方式进行组合。就此而言，本文所用的词“示例性exemplary”意指“用作实例、例子或例示”。本文被阐述为“示例性”的任何实施例不应被视为与其他实施例相比必定是优选的或有利的。另外，根据本文中的论述的上下文而定，单数用语可包括对应的复数形式且复数用语可包括对应的单数形式。还应注意，本文中所示及所论述的各个图包括组件图仅是出于例示目的，而并非按比例绘示。相似地，示出各种波形及时序图仅是用于例示目的。举例来说，为清晰起见，可相对于其他元件夸大元件中的一些元件的尺寸。另外，在适当情况下，在各个图中重复使用参考编号来指示对应的元件和或类似元件。本文所用术语仅是用于阐述特定实施例的目的，而非旨在限制所主张的主题。除非上下文另外清楚地指明，否则本文所用单数形式“一a、an”及“所述the”旨在也包括复数形式。还应理解，当在本说明书中使用用语“包括comprises和或comprising”时，是指明所陈述特征、整数、步骤、操作、元件和或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和或其群组的存在或添加。本文所用用语“第一first”、“第二second”等被用作位于所述用语后面的名词的标签，且除非明确定义，否则所述用语并不隐含着任何类型的次序例如，空间、时间、逻辑等。此外，在两个或更多个图中可使用相同的参考编号来指代具有相同或相似的功能的部件、组件、区块、电路、单元或模块。然而，这种用法仅是为了使例示简洁且易于论述起见；所述用法并不隐含着这种组件或单元的构造细节或架构细节在所有实施例中均是相同的或者这些共同提及的部件模块是实施本文中所公开特定实施例的教示内容的唯一方式。除非另外定义，否则本文所用所有用语包括技术及科学用语的含义均与本主题所属领域中的一般技术人员所通常理解的含义相同。还应理解，用语例如在常用词典中所定义的用语应被解释为具有与其在相关技术的上下文中的含义一致的含义，且除非在本文中明确定义，否则不应将其解释为具有理想化或过于正式的意义。本文所公开的实施例可提供用于结构光系统的快速深度估测。在一个实施例中，可基于图像分块相对于参考分块的硬码模板匹配来提供深度估测。在另一个实施例中，可通过基于例如贝叶斯规则的关联性来将图像分块匹配到参考分块。再一个实施例可使用查找表来将图像分块匹配到参考分块以提供极快的深度估测。与其他方式相比，本文所公开的所有实施例使计算负担明显减少且使存储器硬件资源需求减少，同时还会减少其他方式所具有的噪声、模糊及畸变。本文所公开的使用查找表的实施例可提供恒定时间深度估测。此外，查找表可基于会增强深度预测的训练数据集来学习得到。查找表可比其他方式更鲁棒，同时还实现高的准确性。图1A是绘示根据本发明实施例的结构光系统及参考光图案的概念图。结构光系统100可包括投影仪101、相机102及处理器件103。处理器件103可将参考光图案104发送到投影仪101，且投影仪101可将参考光图案104投射到由线105代表的场景或物体上。相机102可拍摄具有所投射参考光图案104的场景作为图像106。图像106可被传送到处理器件103，且处理器件103可基于在图像106中拍摄的参考光图案相对于参考光图案104的不同来产生深度图depthmap107。深度图107可包括与图像106的分块对应的估测深度信息。处理器件103可为通过软件指令进行编程的微处理器或个人计算机、专用集成电路或这两者的组合。在一个实施例中，由处理器件103提供的处理可完全通过经图形处理单元graphicsprocessingunit，GPU、多核系统加速的软件实施，或者通过能够实施处理操作的专用硬件实施。硬件配置与软件配置二者可提供不同的并行阶段stagesofparallelism。结构光系统100的一种实施方式可为手持器件例如但不限于，智能电话、手机或数字相机的一部分。在一个实施例中，投影仪101与相机102可在可见区域visibleregion中或在对于人眼而言可能不可见的红外光谱infraredlightspectrum中进行匹配。所投射的参考光图案可处于投影仪101及相机102二者的光谱范围内。另外，投影仪101与相机102的分辨率可不同。举例来说，投影仪101可采用视频图形阵列videographicsarray，VGA分辨率例如，640×480像素来投射参考光图案104，而相机102可具有更高的分辨率例如，1280×720像素。在这种配置中，可对图像106进行下采样和或可只对由投影仪101照射的区域进行分析以产生深度图107。根据本发明实施例的参考光图案104可包括多个参考光图案元素，所述多个参考光图案元素可在水平方向及垂直方向二者上重复以完全填充参考光图案104。图1B是绘示在水平方向即，x方向上为48个点宽且在垂直方向即，y方向上为四个像素高的参考光图案元素108的实施例的概念图。为简明起见，点对像素的比率可为1:1，即，每一个投射点可恰好由相机102中的一个像素拍摄。如果4×4像素窗口叠加在参考光图案元素108上且水平滑动在边缘处具有重叠，则将存在48个独特图案。如果4×4像素窗口在参考光图案元素108的高度方向的四个像素之上垂直地上下滑动具有重叠、同时4×4像素窗口水平滑动，则将存在192个独特图案。在一个实施例中，图1A所示参考光图案104可通过在水平方向上将参考光图案元素108重复十次以及在垂直方向上将参考光图案元素180重复160次来形成。在本文所公开的一个实施例中，处理器件103可使用硬码模板匹配技术来产生深度图107的估测深度信息以将图像分块匹配到参考光图案104的分块，其中匹配技术的复杂度是OP且P可为所匹配的分块的大小。在本文所公开的另一个实施例中，处理器件103可通过基于图像分块与参考光图案104的分块匹配的机率将图像分块匹配到参考光图案104的分块来产生估测深度信息，其中匹配技术的复杂度是OP。在本文所公开的再一个实施例中，处理器件103可通过参考查找表lookuptable，LUT来产生估测深度信息，所述查找表可包含图像分块与参考光图案104的分块匹配的机率信息，其中匹配技术的复杂度可由O1代表。1.硬码模板匹配。根据本发明实施例，将图像分块匹配到参考光图案104的分块可使用硬码模板匹配技术通过直接计算方式执行。出于计算目的，参考光图案104可由1的图案及0的图案代表，这可极大地简化对分块比较的计算。可使用三种不同的计算技术中的一种来将图像分块匹配到参考光图案的分块。第一种计算技术可基于绝对差和SumofAbsoluteDifference，SAD方式，在所述绝对差和方式中，匹配得分是基于图像分块与参考分块之间的逐像素绝对差的和来确定的。第二种计算技术可基于平方差和SumofSquaredDifference，SSD方式。第三种计算技术可基于归一化互相关NormalizedCross-Correlation，NCC方式。为示出根据本文所公开实施例的直接计算方式的优点，将参考图2A及图2B来比较用于将图像分块匹配到参考分块的其他直接计算方式与根据本发明概念实施例的直接计算方式。图2A是绘示可在立体相机系统中接收的两个4×4图像分块的概念图。最左侧图像输入分块P将被匹配到最右侧图像参考分块Q。考虑以下情形：参考光图案例如，参考光图案104已被透射到图像上，且所投射的参考光图案出现在左侧图像输入分块P及右侧图像输入分块Q二者中。可用于产生输入分块P与输入分块Q的匹配得分的SAD匹配计算可将误差函数Ek最小化。SAD匹配计算可通过以下方程式1来阐述：在方程式1中，i,j可为分块内的像素位置，k可为与参考光图案的分块对应的分块标识ID:[1,192]。对于这一实例来说，认为分块标识k与具有192个独特图案的参考光图案104相关。对于根据方程式1的SAD方式而言，对单个图像输入分块P相对于单个图像分块Qk的误差函数Ek进行确定的总计算负担可涉及4×4×2×192＝6144次加法运算。与根据方程式1的方式对比，参考图2B，可绘示根据本发明实施例的SAD直接计算技术。在图2B中，左侧分块可为包括所投射的参考光图案104的4×4输入图像分块P。右侧分块可为示例性4×4二进制参考分块Qk，其为来自参考光图案104的4×4分块的二进制表示形式。二进制参考分块Qk中的包含“A”的像素中的每一者可代表二进制“0”即，黑色。二进制参考分块Qk中的包含“B”的像素中的每一者可代表二进制“1”即，白色。通过使用二进制图案，将误差函数最小化可被重新公式化为只对参考图案中为1的像素进行的求和运算。根据本文所公开的实施例，可用于产生图像输入分块P相对于参考光图案分块的匹配得分的简化SAD匹配计算可将误差函数Ek最小化。将误差函数Ek最小化的简化SAD匹配计算可通过以下方程式2来阐述。在方程式2中，i,j可为输入分块P内的像素位置，k可为与参考光图案104的分块对应的分块标识ID:[1,192]，Bk可为参考分块Qk中具有值1的像素的集合，||Bk||可为参考分块Qk中1的计数，且Psum可为分块P中所有像素值的和。由于||Bk||对于每一个二进制参考分块而言是已知的，且Psum可预先计算且参考像素图案中1的平均值是8，因此进行单次图案-图案比较所需的加法的次数可从32次减少到近似8次。因此，对于根据方程式2-3的SAD方式而言，在平均数||Bk||为8时，对单个图像输入分块P相对于图像参考分块Qk的误差函数Ek进行确定的总计算负担可涉及8×192次加法运算。为进一步减少计算操作的数目，可对Psum进行预先计算。再次参照图2A，可用于将误差函数Ek最小化的平方差和SSD匹配计算可通过以下方程式3来阐述。在方程式3中，i,j可为分块内的像素位置，k可为与参考光图案104的分块对应的分块标识ID:[1,192]。对于根据方程式3的SSD方式而言，对单个图像输入分块P相对于图像参考分块Qk的误差函数Ek进行确定的总计算可涉及4×4×2×192＝6144次加法运算。参照图2B且与基于以上方程式3的SSD方式对比，根据本文所公开实施例的可用于将误差函数Ek最小化的简化SSD匹配计算可通过以下方程式4来阐述。在方程式4中，i,j可为输入分块P内的像素位置，k可为与参考光图案104的分块对应的分块标识ID:[1,192]，Bk可为二进制参考分块Qk中具有值1的像素的集合，||Bk||可为二进制参考分块Qk中1的计数，且Psum可为分块P中所有像素值的和。参照方程式4，误差函数Ek可基于参考光图案中白色分块的计数以及参考光图案中黑色补片的计数的平方来确定。对于根据方程式4的简化SSD方式而言，在平均数||Bk||为8时，对单个图像输入分块P相对于图像参考分块Qk的误差函数Ek进行确定的总计算负担可涉及近似8×192次加法运算。为进一步减少计算操作的数目，可对||Bk||及P2sum二者进行预先计算。再次参照图2A，可用于将误差函数Ek最小化的归一化互相关NCC匹配计算可通过以下方程式5来阐述。在方程式5中，i,j可为分块内的像素位置，k可为与参考光图案104的分块对应的分块标识ID:[1,192]。对于根据方程式5的NCC方式而言，对单个图像输入分块P相对于图像参考分块Qk的误差函数Ek进行确定的总计算负担可涉及4×4×192次乘法运算加上4×4×192次加法运算，总共等于6144次运算。参照图2B，与基于以上方程式5的NCC方式对比，根据本文所公开实施例的可用于将误差函数Ek最小化的简化NCC匹配计算可通过以下方程式6来阐述。在方程式6中，i,j可为输入分块P内的像素位置，k可为与参考光图案104的分块对应的分块标识ID:[1,192]，且||Bk||可为二进制参考分块Q中白色分块的和。参照方程式6，误差函数Ek可基于二进制参考分块中黑色分块的计数除以白色分块的计数来确定。本文所公开的简化NCC技术可使用一次除法运算来进行归一化。由于||Bk||可取五个不同的整数值具体来说，6-10，因此除法运算可一直延迟到对匹配得分进行比较为止。因此，这192个匹配得分可基于它们的||Bk||值划分成五个群组，且可从每一个群组中找到最高的匹配得分。只有在对这五个群组中的每一者中的最高得分进行比较时才需要执行除法，仅需要进行五次除法。因此，对于根据方程式6-2的NCC方式而言，对单个图像输入分块P相对于图像参考分块Qk的误差函数Ek进行确定的总计算负担可涉及5次乘法运算加上2×192次加法运算，等于总共389次运算。类似于本文所公开的SAD方式及SSD方式，可对P2sum进行预先计算。图3是绘示根据本发明实施例的使用硬码模板匹配技术确定深度信息的过程的流程图。在301处，可开始所述过程。在302处，可接收具有所投射的参考光图案的图像。在一个实施例中，所投射的参考光图案可为参考光图案104。在303处，可从所接收图像提取分块。在304处，可使用本文所公开的简化SAD技术、SSD技术或NCC技术来将每一个图像分块匹配到参考光图案分块。在305处，可确定每一个图像分块与进行匹配的参考光图案分块之间的不同。在306处，可确定每一个图像分块的深度信息。在307处，可结束所述过程。还可通过从一个参考分块到下一个参考分块对项进行递增计算来进一步减少本文所公开的这三种简化直接计算匹配技术中的每一种的运算数目。举例来说，如果针对图4中所绘示的参考分块401对项进行递增计算，则针对参考分块402对项进行的计算可只增加两次加法运算。因此，通过从一个参考分块到下一个参考分块对项进行递增计算，可明显减少运算的数目。具体来说，参考分块401可包括六个1即，六个白色像素。参考分块402可包括八个1例如，八个白色像素。参考分块401与参考分块402之间1的数目之差是2，因此参考分块402中1的数目的值可比参考分块401中1的数目大二。当考虑参考分块403时，由于参考分块402及参考分块403二者均包括八个1，因此可不添加额外的加法运算。平均而言，加法运算的递增数目可为2。因此，使用这种递增方式，对所有独特图案进行匹配所需的加法运算的总数目可减少到2×192，其中本文所公开的简化SAD技术可比根据方程式3的SAD技术快16倍。图像输入分块与匹配参考分块之间的不同可基于方程式2-3、4-3或6-2中的任意一个来确定，可由处理器件103用来产生深度图107的深度信息。2.基于机率的图案关联性。为基于图像输入分块与参考光图案分块例如，参考光图案104匹配的机率来产生估测深度信息，可使用基于贝叶斯规则的图案关联性。也就是说，贝叶斯规则可用于确定图像输入分块属于参考光图案分块的类别c的机率。一种估测4×4块T或分块属于一类别的机率的简化方式可通过以下方程式7来阐述。logPc|T＝logΠPt|c＝∑logPt|c7在方程式7中，t可为值是1的像素。并不执行乘法，而是如由方程式7的中间项所表示，图像输入分块属于参考光图案分块的类别c的机率可仅使用加法运算来确定，如由方程式7的最右侧项所表示。因此，可由机率的和代替机率的乘法来表示机率Pc|T。对于大小为4×4像素的192个独特图案而言，可取值[0,15]且可取值[1,192]。可形成16×192矩阵，其中每一个项代表logPt|c。当对图像输入分块进行分类时，可将图像输入分块与矩阵M的每一列相关联以获得每一类别的机率logPt|c。具有最高机率的类别可对应于最终匹配的类别。矩阵的各个项可从由结构光图像形成的数据集学习得到，在所述结构光图像中，每一个参考像素的深度值是已知的。作为另外一种选择，矩阵M可通过线性优化技术或通过神经网络形成。图案关联方式的性能可基于矩阵M可被学习的良好程度。图5是绘示根据本发明实施例的基于图像输入分块属于参考光图案分块的类别c的机率来估测深度信息的过程的概念图。在501处，可将图像输入分块二值化为0及1，这可通过将T归一化并以0.5进行阈限thresholding以形成元素[0,1]来进行。接着可将二值化输入分块排列为1×16向量。可在502处将向量T及矩阵M相乘以在503处形成1×192元素直方图elementhistogram，其代表输入分块是特定参考光图案分块的机率。使用图5所示方式确定出的图像输入分块与匹配参考分块之间的不同可由处理器件103用来产生深度图107的深度信息。3.通过查找表进行图案分类。由处理器件103产生的估测深度信息还可通过使用查找表LUT将图像输入分块分类为属于类别c来产生。也就是说，可产生包含图像分块属于参考光图案的分块的类别c的机率信息的LUT。在一个实施例中，LUT可具有216个键值以考虑到所有可能的4×4二值化输入图案。一种用于产生与每一个键值对应的值的技术可基于图像输入分块属于类别c的机率，如结合图5所阐述。图6是绘示根据本发明实施例的使用LUT来产生图像输入分块属于类别c的机率的过程的概念图。在图6中，可在602处将4×4图像输入分块601二值化及向量化以形成键值603，从而得到预先计算的关联性得分表604。表604的每一个行可包含图像输入分块属于类别c的机率的直方图605的值。在图6所示实例中，可将图像输入分块601二值化及向量化以形成示例性键值0,0,…,0,1,0。这种示例性键值的直方图605在606处示出。对于图6所示实例而言，LUT604中的项的总数目可为216行×192列＝12MB。在图像输入分块大的实施例中，与图6中的LUT604对应的LUT对于手持器件例如，智能电话而言可能变得过大。举例来说，如果图像输入分块是8×8输入分块，则与LUT604对应的LUT可包括8.712GB的项。为避免LUT具有这样大的大小，可将大的图像输入分块划分成较小的分块，例如4×4子分块，所述较小的分块用作与LUT604对应的LUT的键值。输入分块的划分可提供单独的且不同的子分块或者可通过使用滑动窗口来进行输入分块的划分。图7是绘示根据本发明实施例的以独特方式对大的图像输入分块进行细分并使用LUT来产生图像输入子分块属于类别c的机率的过程的概念图。在图7中，可将8×8图像输入分块701细分成四个子分块701a到701d。可在702处将这四个子分块各自二值化及向量化以分别形成单独的示例性键值703，从而得到预先计算的关联性得分表704。表704的每一行可包含图像输入子分块属于类别c的机率的直方图的值。在图7所示实例中，图像输入子分块701a到701d可各自被二值化及向量化以形成单独的键值。在705处可使用投票过程来确定8×8图像输入分块701的特定机率直方图706。所述投票过程可例如选择接收到最多投票的机率直方图。对于图7所示实例而言，LUT704中的项的总数目可为216行×192列＝12MB。举例来说，如果另选地使用滑动窗口过程来对大的图像输入分块进行细分，则图7所示过程可基本以相同的方式进行。通过使用包含预先计算类别标识的LUT来替换LUT604或LUT704，可进一步减小LUT的总体大小。图8是绘示根据本发明实施例的使用查找表的过程的概念图，所述查找表只包含可用于确定图像输入分块属于类别c的预先计算的类别标识ID。在图8中，可在802处将4×4图像输入分块801二值化及向量化以形成键值803，从而得到预先计算的类别ID表804。表804的每一行可包含图像输入子分块的预先计算的类别ID。在图8所示实例中，可在802处将图像输入分块801二值化及向量化以形成示例性键值0,0,…,0,1,0。这种示例性键值的预测类别ID可在806处示出。对于图8所示实例而言，LUT804中的项的总数目可为216行×1列＝65,536。图9是绘示根据本发明实施例的使用滑动窗口对大的图像输入分块进行细分并使用包含预先计算的类别标识的LUT的过程的概念图。在图9中，可将8×8图像输入分块901细分成64个4×4子分块图中只绘示出子分块901a到901d。可在902处将这些子分块各自二值化及向量化以分别形成单独的键值903，从而得到预先计算的类别ID表904。可使用905处的64输入投票过程来产生8×8图像输入分块901的机率直方图906。对于图9所示实例而言，LUT904中的项的总数目可为216行×1列＝65,536。图10是绘示根据本发明实施例的基于图像输入分块与参考光图案分块匹配的机率来确定深度信息的过程的流程图。在1001处，可开始所述过程。在1002处，可接收具有所投射的参考光图案的图像。在一个实施例中，所投射的参考光图案可为参考光图案104。在1003处，可将所接收的图像划分成分块，且可将每一个分块二值化。在1004处，可基于图像输入属于参考光图案分块的特定类别c的机率来将每一个图像分块匹配到参考光图案分块。在一个实施例中，所述匹配可通过使用机率矩阵M形成代表输入分块是特定参考光图案分块的机率的直方图H来进行，例如图5所示过程。在另一个实施例中，所述匹配可通过使用LUT产生图像输入分块属于类别c的机率来进行。所述LUT可被实施为预先计算的关联性得分表，其中LUT的每一行包含图像输入分块属于类别c的机率的直方图的值，例如图6所示过程。在再一个实施例中，确定图像输入分块属于类别c可涉及投票过程，例如图7或图9所示过程。在又一个实施例中，LUT可被实施为预先计算的类别ID表，例如图8或图9所示。在1005处，可确定每一个图像分块与进行匹配的参考光图案分块之间的不同。在1006处，可确定每一个图像分块的深度信息。在1007处，可结束所述过程。表1阐述了立体匹配方式与本文所公开的匹配方式之间的一些定量比较。立体匹配方式的计算复杂度可由OP*S代表，其中P是分块大小且S是搜索大小。可采用立体匹配方式的速度作为基线1X，且所需的存储量可为2MB。表1.定量比较与其他匹配方式相比，本文所公开的匹配方式的计算可简单得多且快得多。本文所公开的匹配方式可使用的存储量可明显小于其他方式使用的存储量这取决于使用哪一种方式。所属领域中的技术人员将认识到，可在各种各样的应用中对本文所述创新概念进行修改及变化。因此，所主张主题的范围不应仅限于以上所论述的任何具体示例性教示内容，而是由以上权利要求书来界定。

权利要求：1.一种通过结构光系统来估测图像中的深度的方法，所述方法包括：接收所述图像，所述图像是已在上面投射参考光图案的场景的图像，所述图像包括所述参考光图案的投影，且所述参考光图案包括参考数目个子图案；基于所述图像的分块对应于所述子图案的机率来对所述分块与所述子图案进行匹配；以及基于所述分块与所述子图案之间的不同来确定所述分块的深度的估测值。2.根据权利要求1所述的方法，其中，所述机率包含在查找表中，所述查找表包括机率矩阵，且所述分块包括参考数目个像素，且其中，对所述分块与所述子图案进行匹配还包括：将所述分块中所包括的所述像素二值化；由所述像素形成向量；以及通过将所述像素的所述向量乘以所述机率矩阵来确定所述分块的类别，所述类别对应于与所述分块匹配的所述子图案。3.根据权利要求2所述的方法，其中，所述分块中所包括的所述参考数目个所述像素是16个像素。4.根据权利要求2所述的方法，其中，所述机率矩阵是基于贝叶斯规则通过线性优化或通过神经网络来形成。5.根据权利要求1所述的方法，其中，所述分块包括参考数目个像素，所述方法还包括：将所述分块中所包括的所述像素二值化，以及使用所述分块的经二值化的所述像素来存取查找表中的代表所述分块对应于所述子图案的所述机率的项。6.根据权利要求5所述的方法，其中，所述查找表的每一个项代表所述分块对应于所述子图案中的每一个子图案的机率中的每一个机率的关联性得分。7.根据权利要求5所述的方法，其中，所述查找表的每一个项代表所述子图案中的每一个子图案的类别标识。8.一种通过结构光系统来估测图像中的深度的方法，其中，所述方法包括：接收所述图像，所述图像是已在上面投射参考光图案的场景的图像，所述图像包括所述参考光图案的投影，且所述参考光图案包括参考数目个子图案；将所述图像中所包括的至少一个分块二值化，所述分块包括参考数目个像素；通过基于经二值化的所述分块中的1的第一数目以及每一个经二值化的子图案中的1的第二数目将所述至少一个分块的误差函数最小化来将所述至少一个分块匹配到所述参考光图案的一个子图案；以及基于所述至少一个分块与所述一个子图案之间的不同来确定所述图像的所述至少一个分块的深度的估测值。9.根据权利要求8所述的方法，其中，所述每一个经二值化的子图案中的1的所述第二数目是通过以下方式确定：将第一经二值化的子图案中的1的所述第二数目递增2来获得位于所述第一经二值化的子图案后面的第二经二值化的子图案中的1的所述第二数目。10.根据权利要求8所述的方法，其中，所述误差函数是基于所述参考光图案的白色像素子集及所述参考光图案的黑色像素子集。11.根据权利要求8所述的方法，其中，所述误差函数是基于所述参考光图案中的白色分块的计数及所述参考光图案中的黑色分块的计数的平方。12.根据权利要求8所述的方法，其中，所述误差函数是基于二进制参考分块中的黑色分块的计数除以白色分块的计数所得的值。13.一种通过结构光系统来估测图像中的深度的方法，其中所述方法包括：接收所述图像，所述图像是已在上面投射参考光图案的场景的图像，所述图像包括所述参考光图案的投影，且所述参考光图案包括参考数目个子图案；将所述图像的至少一个分块二值化；基于经二值化的所述分块对应于所述参考光图案的一个子图案的机率来对经二值化的所述分块与所述一个子图案进行匹配；以及基于所述至少一个分块与所述一个子图案之间的不同来确定所述至少一个分块的深度的估测值。14.根据权利要求13所述的方法，其中，经二值化的所述分块对应于所述一个子图案的所述机率包含在查找表中。15.根据权利要求14所述的方法，其中，所述查找表包括机率矩阵，且所述至少一个分块包括参考数目个像素，且其中，对经二值化的所述分块与所述一个子图案进行匹配包括：由经二值化的所述分块形成向量；以及通过将经二值化的所述分块的所述向量乘以所述机率矩阵来确定所述至少一个分块的类别，所述类别对应于与所述至少一个分块匹配的所述一个子图案。16.根据权利要求15所述的方法，其中，所述机率矩阵是基于贝叶斯规则通过线性优化或通过神经网络来形成。17.根据权利要求14所述的方法，其中，对经二值化的所述分块与所述一个子图案进行匹配包括：使用经二值化的所述分块来存取所述查找表中的代表所述至少一个分块对应于所述子图案的机率的项。18.根据权利要求17所述的方法，其中，所述查找表的每一个项代表所述至少一个分块对应于所述子图案中的每一个子图案的机率中的每一个机率的关联性得分。19.根据权利要求17所述的方法，其中，所述查找表的每一个项代表所述子图案中的每一个子图案的类别标识。

百度查询： 三星电子株式会社 估测图像中的深度的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD