申请/专利权人：福州大学

申请日：2021-12-17

公开（公告）日：2024-06-28

公开（公告）号：CN114187208B

主分类号：G06T5/70

分类号：G06T5/70;G06T5/20;G06T7/90;G06T3/4007

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2022.04.01#实质审查的生效;2022.03.15#公开

摘要：本发明提供了一种基于融合代价和自适应惩罚项系数的半全局立体匹配方法，首先采用指数融合公式将输入图像的Census变换代价值、AD代价值、输入图像的方向梯度和方向梯度进行结合，获得融合匹配代价；然后根据像素点所处位置的颜色分量和梯度分量，选择对应的系数进行多路代价聚合；接着在三维视差空间中选择代价值最小的视差值，组成初始视差图；最后经过视差优化处理流程，得到最终的视差图。在Middlebury平台的Cones、Teddy和Tsukuba图像上的实验表明，相比原始半全局立体匹配算法，应用本技术方案可实现所有区域平均误差降低13.3%～34.5%；不连续区域平均误差降低20.3%～36.2%；非遮挡区域平均误差降低13.8%～51%。

主权项：1.基于融合代价和自适应惩罚项系数的半全局立体匹配方法，其特征在于：包括以下步骤：步骤S1：由位于左边的左相机及位于右边的右相机组成双目相机，通过左相机获得左彩色图像，通过右相机获得右彩色图像；步骤S2：对左彩色图像的每一个像素点计算其Census代价值、AD代价值、x方向的梯度代价值和y方向的梯度代价值，最后采用指数融合公式将所述的Census代价值、AD代价值、x方向的梯度代价值和y方向的梯度代价值组合，形成以图像长度为x轴、图像宽度为y轴和视差范围为z轴的三维视差空间；步骤S3：在视差范围内，用像素点的四个方向的一维动态规划结果作为二维全局能量函数的最优解，在所述三维视差空间中分别进行聚合，其中，根据像素点所处位置的颜色差值和梯度差值选择对应的惩罚项系数；步骤S4：在所述三维视差空间中，采用赢者通吃算法WTA，对于每个像素点，选择其最小匹配代价对应的视差值作为该像素点的视差值，将得到的视差值组合形成初始左视差图；步骤S5：采用左右一致性检测、视差唯一性检测和移除异常连通区域对所述初始左视差图进行错误视差检测，还采用二次曲线插值、视差填充、中值滤波以及引导图滤波对初始左视差图进行平滑，得到最终视差图；所述步骤S2具体包括以下步骤：步骤S21：对于左彩色图像的每一个像素点，在R、G、B三个彩色图像通道下计算其AD代价值，公式为： 式中，CADp,d代表左彩色图像上的点p＝x,y在视差为d时的AD代价值；代表左彩色图像第i个通道上的点p＝x,y的灰度值；代表右彩色图像第i个通道上在视差为d时的点pd＝x-d,y的灰度值；步骤S22：计算左彩色图像及右彩色图像分别对应的左灰度图像及右灰度图像，接着在左灰度图像及右灰度图像上以每个像素点为中心，建立大小为5×5的Census变换窗口，并通过窗口内像素灰度均值代替中心像素点灰度值作为阈值，采用汉明距离计算Census代价值式中，和分别代表左灰度图像中点p＝x,y的Census变换二进制编码和右灰度图像中视差为d时点pd＝x-d,y的Census变换二进制编码；步骤S23：由所述左灰度图像及右灰度图像计算每个像素点的x方向和y方向的梯度，并且由梯度可以得到每个像素点在视差为d时x方向和y方向的梯度代价值： 式中，IL和IR分别指左灰度图像和右灰度图像；表示当前像素点在x方向上的灰度值导数，表示当前像素点在y方向上的灰度值导数；Grayp,x-1代表当前像素点在x方向上的左边像素点的灰度值；Grayp,x+1代表当前像素点在x方向上的右边像素点的灰度值；Grayp,y-1代表当前像素点在y方向上的上边像素点的灰度值；Grayp,y+1代表当前像素点在y方向上的下边像素点的灰度值；Cgxp,d和Cgyp,d分别表示左灰度图像中某点p＝x,y和右灰度图像中在视差值d下的某点pd＝x-d,y之间的x方向上和y方向上的梯度代价值；步骤S24：通过指数融合公式建立融合代价计算公式Cp,d： 式中，λAD、λcensus、λgx、λgy分别为AD代价值、Census代价值、x方向的梯度代价值和y方向的梯度代价值的常量阈值；所述步骤S3具体包括以下步骤：步骤S31：采用一维动态规划的方法在三维视差空间中沿某一方向进行代价聚合，视差区间取[0,64]： 式中，Lrp,d代表像素点p在视差为d时沿方向r的聚合代价值；r为像素点p的上下左右四个方向；P1和P2分别代表第一惩罚项系数和第二惩罚项系数；p-r代表像素点p沿方向r上的点；i代表使得聚合代价值最低的对应视差值，且i∈[0,64]；在当前聚合路径上，对于每一个视差d，计算当前左彩色图像像素点x0与其相对应的右彩色图像像素点xcor的梯度差值Diffgrad；若为聚合方向为上下聚合，则使用左彩色图像及右彩色图像在y方向的梯度进行计算；若聚合方向为左右聚合，则使用x方向的梯度进行计算，同时计算当前左彩色图像像素点x0与右彩色图像像素点xcor与各自聚合方向上前一个像素点的左颜色差值和右颜色差值利用颜色阈值和梯度阈值对像素点进行分类，根据所处区域自动调整第一惩罚项系数P1和第二惩罚项系数P2的大小。

全文数据：

权利要求：

百度查询： 福州大学 基于融合代价和自适应惩罚项系数的半全局立体匹配方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD