买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明提供一种基于单应性矩阵的平行多线激光测量系统及测量方法，该方法主要包括：通过平面靶标对相机系统进行标定，得到相机内外参数。通过立体靶标对激光测量系统进行标定，由于激光平面和左右相机平面位置相对固定的特性，从而可以通过激光平面诱导出双目相机左右图像平面之间的单应性关系，得到激光系统标定参数。通过激光测量系统标定参数将左图像待匹配激光线映射到右图像，得到多条映射激光线。通过计算映射激光线的重合度，取最大重合度所对应的映射激光线作为待匹配激光线的对应激光线，从而实现左右图像中激光线的正确匹配。根据上述正确匹配的激光线，通过双目立体视觉测量原理即可重建出激光线三维数据，得到物体表面三维信息。

主权项：1.基于单应性矩阵的平行多线激光测量系统的激光测量方法，其特征在于，所述测量方法基于如下测量系统，所述测量系统包括至少两台工业相机、激光投射器、待测物体和与工业相机对应的相机滤光片；其中，所述工业相机安装于待测物体周围，所述激光投射器与工业相机位于所述待测物体的同一侧，所述激光投射器投射的激光线方向和所述工业相机光心连线方向成角度，所述工业相机和激光投射器之间的相对位置关系固定；所述测量方法首先采用激光投射器投射多条平行激光线与待测物体相交，所述激光线与激光投射器形成激光平面，工业相机用于采集图像；再对所述图像进行激光线细化，得到单像素宽激光线；最后通过单应性约束计算待匹配激光线的对应激光线，从而通过双目视差原理计算激光线三维数据，重建物体表面三维信息；所述的单应性约束为利用激光平面诱导出左右图像平面之间的单应性矩阵，所述单应性矩阵为 其中，x为左图像上像素点坐标，x'为右图像上像素点坐标，H为左右图像之间的单应性矩阵，H1π为世界坐标系平面和左图像之间的透视变化；H2π为世界坐标系平面和右图像之间的透视变化；最后通过单应性约束计算待匹配激光线的对应激光线，从而通过双目视差原理计算激光线三维数据，重建物体表面三维信息，该过程具体包括以下步骤：步骤1：单像素宽激光线的搜索利用局域生长法按照从左到右、从上到下的顺序对左图像激光线进行搜索，如果像素灰度值为0，则该像素是背景像素，不予以处理；如果像素灰度值为255，且该像素的的8邻域像素数为1，就认为这像素点是激光条纹的端点，这时从该像素开始，不断在8邻域范围内搜索邻接点；如果邻域中有像素为255的点就立即记录其坐标，更新它作为种子点，并把它从图像中去除；重复以上搜索过程，直到搜索到激光线段的另一个端点；继续利用种子生长法搜索图像中的激光线，直到图像中没有像素值255的点，计算每次搜索的激光线段的像素数，如果大于阈值，则将其分别存放到不同的文件中，由于物体表面遮挡、孔洞或者图像处理的原因，激光线会有断裂，因此搜索得到的文件数nl大于4个；步骤2：激光线段匹配任取nl中的一个文件nli，i＝1,2,3…，在nli中任取一点pl＝[xl,yl]T，由已经标定出的单应性矩阵，根据公式3，将pl分别和4个单应性矩阵相乘，计算得到映射点坐标pri，i＝1,2,3,4；采用多次迭代累加的方法，取重合度最大的映射激光线作为左图像的待匹配激光线段的正确匹配激光线，即左图像中待匹配激光线和正确的单应性矩阵相乘，得到的映射激光线重合度最大，而和错误的单应性矩阵相乘，得到的映射激光线重合度小。

全文数据：基于单应性矩阵的平行多线激光测量系统及测量方法技术领域本发明涉及激光三维测量技术领域，具体说是一种基于单应性矩阵的平行多线激光测量方法。背景技术结构光三维视觉测量技术，是三维数字化领域最常用的一种现代化技术手段，以其非接触、扫描速度快，获取信息量大，精度高，实时性强等优点，克服传统测量仪器的局限性，成为直接获取目标高精度三维数据的重要手段。它极大地降低了测量成本，节约时间，使用方便，而且应用范围广，在工程测量、变形监测，文物保护、森林和农业，医学研究，战场仿真等领域都有很大的发展空间。目前常用的激光模式有点激光、线激光、多线激光以及网格结构光模式。点激光模式下，激光投射器发出的光束在物体表面产生一个光点，光点经摄像机的镜头在摄像机的像平面上形成一个二维像点。摄像机的实现和光束线在空间中与光点处相交，形成一种简单的三角几何关系。通过一定的标定可以得到这种三角几何约束关系，并有其可以确定光点在某一已知世界坐标系的空间位置。点激光模式满足在线测量中快速、实现的要求，但是其每次只能获取物体表面一个点的信息，获取信息量小，难以满足复杂情况下三维测量要求。线激光模式投射的是一条激光线，与物体相交形成一条光条。该光条由于物体表面深度的变化以及可能的间隙而受到调制，通过对激光系统进行标定，可以从线激光中获取物体表面三维信息，线激光扫描相比于点激光信息量有所增加，但是其扫描过程需要来回移动多次才能完善数据，而且其精度低，累计误差大，难以满足大型物体的三维测量。多线激光模式是线激光模式的扩展，可以一次投射多条激光线，大大加快了扫描速度，而且由于其不需要来回移动，减少了累计误差，提高了测量精度。但是对于多线激光模式，由于采集的图像中存在多条激光线，难以采用一般的约束进行对应点的匹配，在匹配过程中会出现激光线匹配的歧义性问题，即对于一幅图像中的待匹配激光线，在另一幅图中难以找到其对应的激光线。发明内容为了解决多线激光扫描测量过程中的激光线匹配歧义性问题，本发明提供了一种基于单应性矩阵的平行多线激光测量方法，能有效的计算出待匹配激光线的匹配激光线，从而根据双目视差原理对激光线进行三维重建。本发明提供一种基于单应性矩阵的平行多线激光测量系统，所述测量系统包括至少两台工业相机、激光投射器、待测物体和与工业相机对应的相机滤光片；其中，所述工业相机安装于待测物体周围，所述激光投射器与工业相机位于所述待测物体的同一侧，所述激光投射器投射的激光线方向和所述工业相机光心连线方向成角度，所述工业相机和激光投射器之间的相对位置关系固定。进一步的，所述工业相机的数量为两台，两台工业相机分别位于所述激光投射器的两侧。本发明还提供基于单应性矩阵的平行多线激光测量系统的激光测量方法，所述测量方法首先采用激光投射器投射多条平行激光线与待测物体相交，所述激光线与激光投射器形成激光平面，工业相机用于采集图片；再对所述图像进行激光线细化，得到单像素宽激光线；最后通过单应性约束计算待匹配激光线的对应激光线，从而通过双目视差原理计算激光线三维数据，重建物体表面三维信息。进一步的，所述方法采用两台工业相机，两台工业相机分别位于所述激光投射器的左右两侧。所述再对所述图像进行激光线细化，得到单像素宽激光线具体为采用二值化的方法对激光线进行分割，得到激光线二值化图像后，采用Hilditch算法对图像进行细化，得到激光线的骨架线，然后以细化的骨架线为激光线中心初始点，通过求取初始点Hessian矩阵的方法计算初始点的法向，最后在法向方向上以初始点为中心左右各选两个点，拟合高斯曲线，计算高斯曲线的峰值所对应的横坐标作为激光线中心的亚像素点坐标；对所有的初始点进行亚像素中心点的计算，从而得到细化的激光中心线。进一步的，所述的单应性约束为利用激光平面诱导出左右图像平面之间的单应性矩阵，所述单应性矩阵为其中，x为左图像上像素点坐标，x'为右图像上像素点坐标，H为左右图像之间的单应性矩阵。进一步的，最后通过单应性约束计算待匹配激光线的对应激光线，从而通过双目视差原理计算激光线三维数据，重建物体表面三维信息，该过程具体包括以下步骤：步骤1：单像素宽激光线的搜索利用局域生长法按照从左到右、从上到下的顺序对左图像激光线进行搜索，如果像素灰度值为0，则该像素是背景像素，不予以处理；如果像素灰度值为255，且该像素的的8邻域像素数为1，就认为这像素点是激光条纹的端点，这时从该像素开始，不断在8邻域范围内搜索邻接点；如果邻域中有像素为255的点就立即记录其坐标，更新它作为种子点，并把它从图像中去除；重复以上搜索过程，直到搜索到激光线段的另一个端点；继续利用种子生长法搜索图像中的激光线，直到图像中没有像素值255的点，计算每次搜索的激光线段的像素数，如果大于阈值，则将其分别存放到不同的文件中，由于物体表面遮挡、孔洞或者图像处理的原因，激光线会有断裂，因此搜索得到的文件数nl大于4个；步骤2：激光线段匹配任取nl中的一个文件nli，i＝1,2,3…，在nli中任取一点pl＝[xl,yl]T，由已经标定出的单应性矩阵，根据公式3，将pl分别和4个单应性矩阵相乘，计算得到映射点坐标pri，i＝1,2,3,4；采用多次迭代累加的方法，取重合度最大的映射激光线作为左图像的待匹配激光线段的正确匹配激光线，即左图像中待匹配激光线和正确的单应性矩阵相乘，得到的映射激光线重合度最大，而和错误的单应性矩阵相乘，得到的映射激光线重合度小。进一步的，所述映射激光线重合度计算过程是：激光线段Ll通过单应性矩阵得到的映射激光线段为L'li，i＝1,2,3,4，任取右图像中一条映射激光线L'l1，任取L'l1上的一点ps，以ps为中心取W×H矩形邻域，W为矩形长度，取激光线宽度的一半，H为矩形的宽度，搜索矩形邻域内像素点，若像素点灰度值为255，则计算其和点ps的x方向的差值的绝对值，记为di；搜索全部邻域范围，取di中最小值作为目标值，记为dmin，然后代入公式4中计算单个像素点重合度ei，ei＝exp-0.1*dmin,i＝1,2,3…4从上到下依次重复以上过程，直到激光线段末端。然后计算激光线段的总重合度E，分别计算映射激光线的总重合度，记为Ei，n＝1,2,3,4，比较Ei的大小，取最大重合度对应的映射激光线作为待匹配激光线的匹配激光线，利用双目视差原理即可计算激光线三维信息；重复以上过程，重建所有激光线三维信息。本发明的有益效果是，针对多线激光扫描过程中激光线匹配歧义性问题，本发明提出了一种基于单应性矩阵的平行多线激光测量方法。该方法根据两个相机和激光投射器相对位置固定的特性，通过激光平面诱导出左右图像平面之间的单应性关系，从而对激光线对进行匹配。该方法相对于传统的激光扫描系统，不需要对激光平面方程进行计算，减少了系统标定过程中的繁琐；该方法不需要精密的立体靶标即可对激光平面的系统参数进行标定，降低了扫描系统的成本；本方法在匹配激光线对的过程中准确度高，效率快，稳定性强，扫描获取的三维点云数据精度高达0.1mm,能满足一般工业的需求。附图说明下面结合附图和实施例对本发明进一步说明。图1是本发明的测量系统模型示意图；图2是单应性变换原理图；图3是多线激光匹配原理图；图4是重合度计算原理图；图中1.左相机，2.右相机3.激光投射器4.左图像5.右图像6.激光平面7.激光线8.待测物体。具体实施方式下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。实施例1首先对本发明中的平行多线激光三维扫描系统进行说明，如图1所示，该测量系统由两个工业相机1、2、一个激光投射器3和两个相机滤光片9组成，激光投射器3投射出多条平行激光线，本实施例中以4条为例，该平行激光线的条数不限于4条，与待测物体相交形成经过调制的光条，光条在空间中位于光平面上，同时经透视投影，在摄像机CCD上成像。本文相对于传统的结构光测量系统，不需要对光平面6进行光平面方程的标定，只需要利用激光平面6诱导出左右图像平面之间的单应性矩阵，因此标定出左右图像平面之间的单应性矩阵是建立三维测量模型的关键。所述激光平面6诱导左右图像平面4、5之间的单应性矩阵原理是在左右相机和激光投射器相对位置固定的情况下，对于左图像4中一个像素点通过平面6诱导的单应性矩阵，可以求出其在右图像5上对应的像素点，如图2所示。图中π是世界坐标系中的一个平面，把点x的射线延长并与平面π交于点xπ，该点被投影到另一个图像上的点为x'，在世界坐标系平面π和左图像4之间存在一个透视变化H1π：x＝H1πxπ1同理在世界坐标系平面和右图像5之间存在透视变换H2π：x'＝H2πxπ2这两个透视变换的复合是两个图像平面4、5之间的一个单应变换H：本发明采用张正友的基于二维平面靶标的摄像机标定方法对双目相机进行参数标定，得到双目相机内外参数，然后对4个激光平面6诱导的单应性矩阵进行标定。打开激光投射器将多条平行激光线投射在标定靶标上这里以4条为例，标定靶标采用没有强反光的石膏模型即可，左右相机同时采集图像，多次移动标定靶标，分别采集五组标定图像。分别对每组标定图像进行图像处理、激光线细化，提取出具有单像素宽的激光线，由于激光线在左右图像中按照从左到右的顺序依次排列，依次标记为1、2、3、4，分别将左右图像中相同编号的激光线进行匹配，通过公式3分别计算由4个激光平面6分别诱导的4个单应性矩阵Hii＝1,2,3,4。所述激光线7细化，用于将具有一定宽度的激光线7细化成具有单像素宽的激光线，方便后面对激光线进行匹配。由于激光线亮度比周围环境高，采用二值化的方法对激光线进行分割，得到激光线二值化图像后，采用Hilditch算法对图像进行细化，得到激光线的骨架线，然后以细化的骨架线为激光线中心初始点，通过求取初始点Hessian矩阵的方法计算初始点的法向,最后在法向方向上以初始点为中心左右各选两个点，拟合高斯曲线，计算高斯曲线的峰值所对应的横坐标作为激光线中心的亚像素点坐标。对所有的初始点进行亚像素中心点的计算，从而得到细化的激光中心线。所述多线激光匹配与重建的具体过程是：步骤1：单像素宽激光线的搜索利用局域生长法对左图像激光线进行搜索，按照从左到右、从上到下的顺序，如果像素灰度值为0，则该像素是背景像素，不予以处理；如果像素灰度值为255，且该像素的的8邻域像素数为1，就认为这像素点是激光条纹的端点，这时从该像素开始，不断在8邻域范围内搜索邻接点。如果邻域中有像素为255的点就立即记录其坐标，更新它作为种子点，并把它从图像中去除。重复以上搜索过程，直到搜索到激光线段的另一个端点8邻域内不再有其他邻接点。继续利用种子生长法搜索图像中的激光线，直到图像中没有像素值255的点。计算每次搜索的激光线段的像素数，如果大于阈值，则将其分别存放到不同的文件中，这样是为了滤除较短的激光线段。由于物体表面遮挡、孔洞或者图像处理的原因，激光线会有断裂，因此搜索得到的文件数可能会大于4个，记为nl。步骤2：激光线段匹配任取nl中的一个文件nlii＝1,2,3…，在nli中任取一点pl＝[xl,yl]T，由已经标定出的4个单应性矩阵，根据公式3，将pl分别和4个单应性矩阵相乘，计算得到4个映射点坐标prii＝1,2,3,4。由双目视觉唯一性约束可知两幅图像4、5中的对应匹配点有且只有一个，所以计算出的4个映射点中只有一个是点pl的正确匹配点。如图3所示，正确匹配点落在右图像5中某条激光线上，而错误的匹配点一般不落在任一激光线上，所以通过判断映射点周围是否有激光线像素点称为激光线约束就可以去除错误匹配。由于图像上有多条激光线7，错误的映射点也可能落在右图像中某条激光线上，这样就无法通过激光线约束去除所有错误匹配点。本发明采用多次迭代累加的思想，取重合度最大的映射激光线作为左图像的待匹配激光线段的正确匹配激光线，即左图像中待匹配激光线和正确的单应性矩阵相乘，得到的映射激光线重合度最大，而和错误的单应性矩阵相乘，得到的映射激光线重合度小。所述映射激光线重合度计算原理是：如图4所示，激光线段Ll通过单应性矩阵得到的映射激光线段为L'lii＝1,2,3,4，任取右图像5中一条映射激光线L'l1。任取L'l1一点ps，以ps为中心取W×H矩形邻域，W为矩形长度，取激光线宽度的一半，H为矩形的宽度，取1。搜索矩形邻域内像素点，若像素点灰度值为255，则计算其和点ps的x方向的差值的绝对值，记为di。搜索全部邻域范围，取di中最小值作为目标值,记为dmin。然后代入公式4中计算单个像素点重合度ei。ei＝exp-0.1*dmin,i＝1,2,3…4从上到下依次重复以上过程，直到激光线段末端。然后计算激光线段的总重合度E。分别计算四条映射激光线的总重合度，记为Ein＝1,2,3,4，比较Ei的大小，取最大重合度对应的映射激光线作为待匹配激光线的匹配激光线，利用双目视差原理即可计算激光线7三维信息。重复以上过程，重建所有激光线三维信息。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。

权利要求：1.基于单应性矩阵的平行多线激光测量系统，其特征在于，所述测量系统包括至少两台工业相机、激光投射器、待测物体和与工业相机对应的相机滤光片；其中，所述工业相机安装于待测物体周围，所述激光投射器与工业相机位于所述待测物体的同一侧，所述激光投射器投射的激光线方向和所述工业相机光心连线方向成角度，所述工业相机和激光投射器之间的相对位置关系固定。2.根据权利要求1所述的基于单应性矩阵的平行多线激光测量系统，其特征在于，所述工业相机的数量为两台，两台工业相机分别位于所述激光投射器的两侧。3.根据权利要求1所述的基于单应性矩阵的平行多线激光测量系统的激光测量方法，其特征在于，所述测量方法首先采用激光投射器投射多条平行激光线与待测物体相交，所述激光线与激光投射器形成激光平面，工业相机用于采集图片；再对所述图像进行激光线细化，得到单像素宽激光线；最后通过单应性约束计算待匹配激光线的对应激光线，从而通过双目视差原理计算激光线三维数据，重建物体表面三维信息。4.根据权利要求3所述的激光测量方法，其特征在于，所述方法采用两台工业相机，两台工业相机分别位于所述激光投射器的左右两侧。5.根据权利要求3所述的激光测量方法，其特征在于，所述再对所述图像进行激光线细化，得到单像素宽激光线具体为采用二值化的方法对激光线进行分割，得到激光线二值化图像后，采用Hilditch算法对图像进行细化，得到激光线的骨架线，然后以细化的骨架线为激光线中心初始点，通过求取初始点Hessian矩阵的方法计算初始点的法向，最后在法向方向上以初始点为中心左右各选两个点，拟合高斯曲线，计算高斯曲线的峰值所对应的横坐标作为激光线中心的亚像素点坐标；对所有的初始点进行亚像素中心点的计算，从而得到细化的激光中心线。6.根据权利要求3至5中任一项所述的激光测量方法，其特征在于，所述激光投射器投射4条平行激光线。7.根据权利要求6所述的激光测量方法，其特征在于，所述的单应性约束为利用激光平面诱导出左右图像平面之间的单应性矩阵，所述单应性矩阵为其中，x为左图像上像素点坐标，x'为右图像上像素点坐标，H为左右图像之间的单应性矩阵。8.根据权利要求6所述的激光测量方法，其特征在于，最后通过单应性约束计算待匹配激光线的对应激光线，从而通过双目视差原理计算激光线三维数据，重建物体表面三维信息，该过程具体包括以下步骤：步骤1：单像素宽激光线的搜索利用局域生长法按照从左到右、从上到下的顺序对左图像激光线进行搜索，如果像素灰度值为0，则该像素是背景像素，不予以处理；如果像素灰度值为255，且该像素的的8邻域像素数为1，就认为这像素点是激光条纹的端点，这时从该像素开始，不断在8邻域范围内搜索邻接点；如果邻域中有像素为255的点就立即记录其坐标，更新它作为种子点，并把它从图像中去除；重复以上搜索过程，直到搜索到激光线段的另一个端点；继续利用种子生长法搜索图像中的激光线，直到图像中没有像素值255的点，计算每次搜索的激光线段的像素数，如果大于阈值，则将其分别存放到不同的文件中，由于物体表面遮挡、孔洞或者图像处理的原因，激光线会有断裂，因此搜索得到的文件数nl大于4个；步骤2：激光线段匹配任取nl中的一个文件nli，i＝1,2,3…，在nli中任取一点pl＝[xl,yl]T，由已经标定出的单应性矩阵，根据公式3，将pl分别和4个单应性矩阵相乘，计算得到映射点坐标pri，i＝1,2,3,4；采用多次迭代累加的方法，取重合度最大的映射激光线作为左图像的待匹配激光线段的正确匹配激光线，即左图像中待匹配激光线和正确的单应性矩阵相乘，得到的映射激光线重合度最大，而和错误的单应性矩阵相乘，得到的映射激光线重合度小。9.根据权利要求6所述的激光测量方法，其特征在于，所述映射激光线重合度计算过程是：激光线段Ll通过单应性矩阵得到的映射激光线段为L'li，i＝1,2,3,4，任取右图像中一条映射激光线L'l1，任取L'l1上的一点ps，以ps为中心取W×H矩形邻域，W为矩形长度，取激光线宽度的一半，H为矩形的宽度，搜索矩形邻域内像素点，若像素点灰度值为255，则计算其和点ps的x方向的差值的绝对值，记为di；搜索全部邻域范围，取di中最小值作为目标值，记为dmin，然后代入公式4中计算单个像素点重合度ei，ei＝exp-0.1*dmin,i＝1,2,3…4从上到下依次重复以上过程，直到激光线段末端。然后计算激光线段的总重合度E，分别计算映射激光线的总重合度，记为Ei，n＝1,2,3,4，比较Ei的大小，取最大重合度对应的映射激光线作为待匹配激光线的匹配激光线，利用双目视差原理即可计算激光线三维信息；重复以上过程，重建所有激光线三维信息。

百度查询： 南京航空航天大学 基于单应性矩阵的平行多线激光测量系统及测量方法