买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开了一种基于混合双目视觉的融合温度信息三维点云重建方法，采用单目结构光系统进行测量，测量装置对比双目结构光系统更加简化。对于采集得到的高温物体图像中噪声，分析噪声产生原因及类型，使用滤波算法进行处理，去除图像中的噪声干扰，有利于后续三维重建工作的展开。对格雷码解码处理，并基于绝对相位进行点对匹配，利用三角测量原理完成高温物体三维重建工作。同时利用比色测温计对高温物体发射率进行标定，通过比色测温法建立温度到颜色的映射关系获取物体温度信息，完成了三维形貌与表面温度的同步测量工作。本发明具有较强的鲁棒性，能够克服高温带来的干扰，对实验环境适应性强，能够在狭小观察窗口内完成测量工作，能够较为容易保证待测物体处于多个视场中心；能够在完成对高温物体三维形貌测量工作的同时，同步获取高温物体温度信息，丰富测量数据。

主权项：1.一种基于混合双目视觉的融合温度信息三维点云重建方法，其特征在于，包括：1、测量装置调试及数据采集1.1、将投影装置固定于中心，将灰度相机与彩色相机毗邻安装，固定于投影装置左侧，其中灰度相机分辨率为M*N，彩色相机分辨率为m*n；1.2、调整灰度相机、彩色相机以及投影装置的位置，使灰度相机、彩色相机均能清晰拍摄高温被测物体，且投影装置投射结构光恰好完全覆盖高温被测物体，即高温被测物体处于灰度相机、彩色相机以及投影装置三者的公共视场中；S1.3、将标定板放置于灰度相机、投影装置的公共视场中心，用灰度相机拍摄多个不同位姿下标定板灰度图像，每个位姿下拍摄num张标定板图像，使用张氏标定法基于不同位姿下的标定板图像完成灰度相机以及投影装置标定工作，得到灰度相机内参Kc及旋转平移矩阵[Rc,Tc]与投影装置内参Kp及旋转平移矩阵[Rp,Tp]；1.4、投影装置投射格雷码结构光图像到高温被测物体，灰度相机同步对其进行采集得到一张全投光图像Whiteori、一张不投光图像Blackori以及a张格雷码结构光图像及其互补码结构光图像其中，k＝1,2,...,a，将全投光图像Whiteori、不投光图像Blackori以及a张格雷码结构图像及其互补码结构光图像统称为灰度图像，并记为分辨率为M*N，使用彩色相机采集高温被测物体的彩色图像，记为：ColorImgm*n，分辨率为m*n；2、对采集得到灰度图像进行多尺度高斯噪声滤波2.1、获取灰度图像拍摄时高温被测物体的温度T以及测量过程中高温被测物体温度范围[Tmin,Tmax]；2.2、设定窗口大小window1、window2以及window3，window1＜window2＜window3以及最小方差sigmamin、最大方差sigmamax；2.3、根据温度T处于温度范围[Tmin,Tmax]中的区域，选取三层为滤波层数，在最小方差sigmamin、最大方差sigmamax等渐进选取对应的滤波方差： 2.4、分别选取窗口大小以及滤波方差[window1,sigma1]，[window2,sigma2]以及[window3,sigma3]对灰度图像高斯滤波处理： 得到处理后的高斯滤波图像分别为以及其中，GaussFilterl表示第l个窗口大小以及滤波方差[windowl,sigmal]构成的多尺度高斯噪声滤波器；2.5、对得到的三幅高斯滤波图像以及进行融合处理，得到多尺度高斯联合滤波后的灰度图像 3、多尺度高斯联合滤波后的灰度图像进一步散斑噪声滤波处理3.1、设定滤波窗口最大值Wmax以及滤波窗口最小值Wmin；3.2、对于多尺度高斯联合滤波后的灰度图像遍历图像中所有的像素点Gaui,j，其中，i、j分别为水平、垂直方向的坐标，选取滤波窗口最小值Wmin作为滤波窗口W；3.3、将滤波窗口W包含的数据均匀划分为4个子区域记为Window1,Window2,Window3,Window4，并计算每个子区域内的均值Gaumean1,Gaumean2,Gaumean3,Gaumean4、方差与极小值Gaumin1,Gaumin2,Gaumin3,Gaumin4、极大值Gaumax1,Gaumax2,Gaumax3,Gaumax4；3.4、在四个子区域中，选取方差最小的子区域，记为*，判断方差最小子区域内得到均值是否为噪声：若Gaumin*＜Gaumean*＜Gaumax*，则判断方差最小子区域均值Gaumean*不是噪声，将当前像素点Gaui,j用均值Gaumean*替换，否则即Gaumin*＝Gaumean*或Gaumax*＝Gaumean*，则判断方差最小子区域均值Gaumean*是噪声，并进一步判断滤波窗口W大小是否达到滤波窗口最大值Wmax，若没有达到，则扩大滤波窗口W，返回步骤3.3，重新计算并判断，否则即达到，将当前像素点Gi,j属于边缘区域，维持不变；3.5、遍历灰度图像中所有像素点后，得到滤除散斑噪声处理后的灰度图像4、格雷码结构光图像阴影区域剔除4.1、对于灰度图像中的全投光图像、不投光图像分别记为Whitef、Blackf，并计算差值Gwi,j-Gbi,j，其中，Gwi,j、Gbi,j分别为全投光图像Whitef、不投光图像Blackf位于图像坐标i,j的像素值；4.2、判断差值Gwi,j-Gbi,j是否大于设定的阴影阈值Threshod，如果大于，则阴影掩膜Maskshadow位于图像坐标i,j的像素值Maskshadowi,j＝1，否则，Maskshadowi,j＝0；遍历所有差值，得到阴影掩膜Maskshadow；4.3、对于灰度图像中的a张格雷码结构光图像记为a张互补码结构光图像记为使用得到的阴影掩膜Maskshadow对两种结构光图像进行处理： 得到剔除阴影区域后的得到格雷码结构光图像互补码结构光图像5、结构光图像直接光照与环境光照评估处理5.1、从格雷码结构光图像互补码结构光图像中分别选取级次大于设定阈值的K张图像，记为5.2、给出二值化阈值参数b，计算初始判断参数b1＝11-b,b2＝21-b2，在图像中i,j处的像素点，给出初始直接光与环境光参数极值评估量： 其中，表示图像在i,j处的像素值；即在通过比较位置i,j在所有中的像素值得到极大值以及极小值5.3、计算位于i,j处的像素点直接光成分数值LDi,j与环境光成分数值LGi,j： 5.4、对于直接光成分数值LDi,j，若环境光成分数值LGi,j＞0，则数值LDi,j维持不变，否则，令LDi,j＝Lmaxi,j；对于环境光成分数值LGi,j，若环境光成分数值LGi,j＞0，则环境光成分数值LGi,j维持不变，否则，令LGi,j＝0；6、格雷码结构光图像二值化6.1、对于格雷码结构光图像互补码结构光图像其位于i,j处的像素值分别记为设定常数阈值m；6.2、若像素值认为该像素点属于不确定点，数值为Nan，否则进一步判断：如果LDi,j＞LGi,j且满足则该像素点二值化数值为1；如果LDi,j＞LGi,j且满足则该像素点二值化数值为0；如果且满足则该像素点二值化数值为0；如果且满足则该像素点二值化数值为1；不符合以上判断条件的像素点，属于不确定点，赋值为Nan；这样得到二值化处理后的图像记为7、对二值化处理后的图像进行格雷码解码处理，并基于绝对相位进行点对匹配，确定物体在灰度相机图像上成像位置uc,vc及其对应的投影装置逆相机上的成像位置up,vp，获得点对匹配关系：Φcuc,vc＝Φpup,vp；8、基于匹配点对完成高温物体三维重建将世界坐标系Coordinateworld与相机坐标系Coordinatecamera重合，对相机像素坐标系与空间世界三维点的映射关系做出简化，称Pc，Pp为灰度相机、投影装置的投影矩阵，通过标定工作确定，则有： 其中，sc、sp表示尺度因子，X,Y,Z表示相机像素点uc,vc及其对应的投影仪像素点up,vp两个对应点之间所确定的一个空间点P的三维坐标；求解得到空间三维点的解： 遍历所有像素点，计算其对应的空间三维点P，并将所有空间三维点进行合并，得到点云数据CloudoriX,Y,Z；9、使用比色测温法通过彩色图像ColorImgm*n获取高温物体温度信息9.1、利用比色测温计进行物体发射率Kb标定，建立了物体颜色信息与温度之间的映射关系；9.2、彩色图像ColorImgm*n单个像素点i,j对应温度Ti,j为： 其中，c2表示普朗克定律第二常数，λr和λg分别表示红、绿两种颜色所代表的波长，Ri,j、Gi,j表示彩色图像ColorImgm*n在i,j处的红色通道与绿色通道数值；10、高温物体三维点云与温度信息进行合并处理10.1对图像ColorImgm*n进行处理，将其视角转换到分辨率为M*N的灰度图像下，并对两者分辨率进行统一处理；10.2、选用canny算子对彩色图像ColorImgm*n与一张分辨率为M*N的灰度图像的边缘轮廓进行提取，得到图像ColorImageedge、Imgedge；10.3、对轮廓图像ColorImageedge、Imgedge使用膨胀与腐蚀操作消除孔洞与离散这两种缺陷，得到处理后图像ColorImagee′dge、Imge′dge；10.4、对图像ColorImagee′dge与Imge′dge采用SURF算法提取特征点并建立匹配关系，对多余的特征匹配进行去除，只保留置信度较高的配准点对记为：MatchPairs[p1.p2,...pn]，并且保证点对之间只存在一对一的对应关系；10.5、基于得到的高置信度匹配点对，使用RANSAC算法计算匹配点对之间最终变换矩阵Htrans；10.6、将彩色图像ColorImgm*n变换到灰度图像Imgenhanced视角下，得到ColorImagetran：ColorImagetran＝ColorImgm*n*Htrans；10.7、对彩色图像ColorImagetran进行插值扩充处理插值获取高分辨率彩色图像10.8、根据彩色图像结合步骤9获得的基于比色测温法得到的温度映射公式，得到每个像素点对应的温度值，构建得到二维温度矩阵TempM*N： 其中，分别表示彩色图像在i,j处的红色通道与绿色通道数值；10.9、对得到的高温物体三维点云数据CloudoriX,Y,Z与温度信息TempM*N进行合并处理：利用二维图像坐标到三维点云坐标之间的映射关系，将二维温度矩阵TempM*N赋值给三维点云中，得到新点云数据CloudX,Y,Z,T，其中，T表示该点的温度信息，XYZ表示点云中每个点的三维坐标，得到温度信息合并后的点云，完成对高温物体三维形貌及表面温度的同步测量。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于混合双目视觉的融合温度信息三维点云重建方法