电子科技大学殷春获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉电子科技大学申请的专利基于多线激光和定位装置的航空航天高精度零部件全局三维点云重建方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118463847B 。
龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410575155.1,技术领域涉及:G01B11/24;该发明授权基于多线激光和定位装置的航空航天高精度零部件全局三维点云重建方法是由殷春;赵旭;程玉华;刘俊洋;陈凯;师公凡;马玉坤设计研发完成,并于2024-05-10向国家知识产权局提交的专利申请。
本基于多线激光和定位装置的航空航天高精度零部件全局三维点云重建方法在说明书摘要公布了:本发明公开了一种基于多线激光和定位装置的航空航天高精度零部件全局三维点云重建方法,使用一个固定的双目相机C1,一个移动的线激光双目相机C2进行图像采集,其中线激光双目相机C2被放置在一个定位装置中,该定位装置上存在若干个标志球,每个标志球表面有若干标志圆,这样采取基于多线激光及定位装置标记点的方法进行三维形貌测量,避免了不能正确获得匹配点,带来精度低的问题。同时,由于大尺寸物体的尺寸较大,且用于跟踪即拼接的双目相机应当拍摄到全部的定位装置,故定位装置上的标志点占总体图像的像素较小,进而导致标志点提取及匹配过程中标志点的提取失败或匹配错误等问题,本发明对两个相邻位姿下匹配点的获取采用了粗匹配和精匹配来获得拼接的旋转矩阵Ri+1_i以及平移矩阵ti+1_i,进一步提高了重建和拼接精度。
本发明授权基于多线激光和定位装置的航空航天高精度零部件全局三维点云重建方法在权利要求书中公布了:1.一种基于多线激光和定位装置的航空航天高精度零部件全局三维点云重建方法,其特征在于,包括:1、图像采集将双目相机C1安装在固定器械上,线激光双目相机C2安装在球形定位装置的球心位置,其中,球形定位装置上有K个标志球,每个标志球的表面有若干个用于定位的标志圆,所有标志球的球心皆位于球形定位装置的球面上;调试双目相机C1和线激光双目相机C2,使双目相机C1能够完整、清晰地拍摄到球形定位装置,使线激光双目相机C2能够完整、清晰地拍摄到待测高精度零部件,且线激光能够完整、清晰地投射到待测高精度零部件表面;线激光双目相机C2为手持设备,在移动到每个不同位姿后,由操作人员手动控制拍摄,对于第i,i=1,2,…,N个位姿下拍摄到的待测高精度零部件的左右相机图像记为Img2l_i、Img2r_i;线激光双目相机C2作为主相机及触发源,在每次进行拍摄的同时向双目相机C1发送触发信号,双目相机C1在接收到线激光双目相机C2发送的触发信号后立即拍摄,即双目相机C1在线激光双目相机C2处于每个位姿并拍摄时,拍摄下球形定位装置,得到的左右相机图像记为Img1l_i、Img1r_i;2、根据双目相机C1获得图像计算各个位姿下的标志球球心三维坐标集合2.1、固定双目相机C1,对双目相机C1进行标定,获得双目相机C1内参矩阵K1l、K1r,双目相机C1外参旋转矩阵R1、平移向量t1;2.2、首先将球形定位装置所在的矩形区域提取出来,再经过二值化处理,使用canny边缘检测器进行边缘检测,最后采用霍夫圆检测的流程提取出位姿i下的左右相机图像Img1l_i、Img1r_i中的标志圆圆心像素坐标系下的坐标集合C1l_i:{c1l_i_1,c1l_i_2,…,c1l_i_A}和C1r_i:{c1r_i_1,c1r_i_2,…,c1r_i_B},其中:c1i_i_a=ul_i_a,vl_i_a,a=1,2,…,A,是集合C1l_i中的第a个点,集合C1l_i中共有A个点,像素坐标系下,c1l_i_a=ul_i_a,vl_i_a以图像的左上角点为原点,ul_i_a为水平方向的像素偏移量,vl_i_a为竖直方向上的像素偏移量;c1r_i_b=ur_i_b,vr_i_b,b=1,2,…,B,是集合C1r_i中的第b个点,集合C1r_i中共有B个点,像素坐标系下,c1r_i_b=ur_i_b,vr_i_b以图像的左上角点为原点,ur_i_b为水平方向的像素偏移量,vr_i_b为竖直方向上的像素偏移量;2.3、将像素坐标系下的坐标集合C1l_i:{c1l_i_1,c1l_i_2,…,c1l_i_A}和C1r_i{c1r_i_1,c1r_i_2,…,c1r_i_B}中的所有坐标c1l_i_a=ul_i_a,vl_i_a,c1r_i_b=ur_i_b,vr_i_b转换为归一化的像素坐标p1l_i_a=ul_i_a,vl_i_a,1,p1r_i_b=ur_i_b,vr_i_b,1;2.4、通过极线约束匹配对左右图像Img1l_i、Img1r_i中的坐标集合C1l_i和C1r_i中的标志圆圆心点进行匹配:遍历左相机图像Img1l_i中的标志圆圆心的坐标集合C1i_l,对每一个待匹配圆心都遍历右相机图像Img1r_i中的标志圆圆心集合C1r_i,并计算p1r_i_b·F1·p1l_i_aT与阈值s比较,若有p1r_i_b·F1·p1l_i_aTs,则记{p1l_i_a,p1r_i_b}为一对匹配点1≤a≤A,1≤b≤B,F1为基础矩阵,且F1=K1r-T·t1^·R1·K1l-1,其中,K1r-T为内参矩阵K1r的转置矩阵的逆矩阵,t1^为外参平移向量t1的反对称矩阵,K1l-1为内参矩阵K1l的逆矩阵;2.5、依据匹配后的左右相机图像Img1l_i、Img1r_i上的标志圆圆心点,通过双目相机视差原理求解该标志圆圆心点的三维坐标:对于第j对匹配点对计算的三维点坐标为pij=xij,yij,zij,其中: 其中,u0,v0为双目相机C1的左相机主点坐标,f为左右相机焦距,Tx为左右相机基线距离,为匹配点视差,aj,bj为第j对匹配点对应的标志圆圆心序号;将全部匹配点计算出的三维坐标pij记为位姿i下的标志圆三维坐标集合Pi:{pi1,pi2,…,pij,…piJ},其中,pij=xij,yij,zij的i表示第i个位姿,0jJ表示第j个三维坐标,第i个位姿下共根据匹配点计算出J个三维坐标;2.6、通过DBSCAN聚类方法,根据三维欧氏距离约束条件将集合Pi中属于标志球k的所有标志圆圆点聚类为一个三维点集合其中,pi_k_q=xikq,yikq,zikq表示位姿i下第k个标志球上的第q标志圆圆点三维坐标,对于第k个标志球有Qk标志圆圆点;对于位姿i下的第k个标志球的标志圆圆点三维点集合Pi_k,通过最小二乘算法拟合出标志球球心三维坐标bi_k=xi_k,yi_k,zi_k,将所有标志球球心三维坐标记为集合Bi:{bi_1,bi_2,…,bi_K};重复步骤2.2~2.6求得N个位姿下的标志球球心三维坐标集合B1,B2,…,BN;3、根据线激光双目相机C2获得图像计算各个位姿下的待测高精度零部件的点云3.1、固定线激光双目相机C2,对线激光双目相机C2进行标定,获得线激光双目相机C2内参矩阵K2l、K2r,线激光双目相机C2外参旋转矩阵R2、平移向量t2;3.2、进行光平面标定,得到线激光双目相机C2的多线激光发生器投射的多线激光的光平面的相机坐标系下的平面参数集合LP:{lp1,lp2,…,lpG},其中lpg=ag,bg,cg,g=1,2,…,G,G为光平面数量,第g个光平面方程为:ag·x+bg·y+cg·z+1=0;3.3、对左右相机图像Img2l_i、Img2r_i中的激光线进行提取,使用灰度重心法得到左右相机图像Img2l_i、Img2r_i中的激光线上的点其中,pl_i_m=ul_i_m,vl_i_m为左相机图像Img2l_i中第m个点在像素坐标系下坐标,共计Ml个点,以图像的左上角点为原点,ul_i_m为水平方向的像素偏移量,vl_i_m为竖直方向上的像素偏移量,pr_i_m=ur_i_m,br_i_m为右相机图像Img2r_i中第m个点在像素坐标系下坐标,共计Mr个点,以图像的左上角点为原点,ur_i_m为水平方向的像素偏移量,vr_i_m为竖直方向上的像素偏移量;将像素坐标系下的坐标pl_i_m=ul_i_m,vl_i_m归一化为pr_i_m=ur_i_m,vr_i_m归一化为3.4、对位姿i下左相机图像Img2l_i中每一个激光线上的点,坐标为遍历右相机图像Img2r_i中激光线上的点,以其中满足极线约束的点作为待匹配点,F2=K2r-T·t2^·R2·K2l-1为基础矩阵,待匹配点的坐标为得到的待匹配点为Nm个;3.5、得到的Nm个待匹配点分别与坐标为的点计算视差,并通过三角测量原理计算出Nm个待匹配点的三维坐标{pc_i_1,pc_i_2,…,pc_i_Nm},pc_i_h=xc_i_h,yc_i_h,Zc_i_h,其中c表示由三角测量原理计算出的点,h为待匹配点的序号,h=1,2,…,Nm;3.6、将左相机图像Img2l_i中激光线上的点通过内参矩阵K2l转换为图像坐标系坐标: 图像坐标系以成像平面和相机光轴的交点为原点,xl_i_m和yl_i_m分别为水平与竖直方向上的偏移量;以相机坐标系原点为起点,的图像坐标系坐标xl_i_m,yl_i_m,1与H个光平面相交,其中,第g个光平面的方程为:ag·x+bg·y+cg·z=0,x,y,z为坐标;从相机的光心出发,以图像坐标系坐标xl_i_m,yl_i_m,1为射线,此方向上的任一点可以记为s·xl_i_m,s·yl_i_m,s,将坐标s·xl_i_m,s·yl_i_m,s带入光平面方程ag·x+bg·y+cg·z+1=0,得到:ag·s·xl_i_m+bg·s·yl_i_m+cg·s+1=0,解得到: 将解得的s带入射线上的点s·xl_i_m,s·yl_i_m,s,获得点pl_i_m在第g个光平面上的三维坐标pi_m_g=xi_m_g,yi_m_g,zi_m_g,其中: 这样根据光平面方程解出的激光线上的点的三维坐标点集合记为{pi_m_1,pi_m_2,…,pi_m_G};3.7、遍历集合{pi_m_1,pi_m_2,…,pi_m_G}中每一个点pi_m_g,计算其与集合中每个点pc_i_h的欧式距离dg_h,这样得到矩阵: 在矩阵Di_m找到距离最小的元素dg_h,若则认为集合{pi_m_1,pi_m_2,…,pi_m_G}中第g个点pi_m_g为的三维坐标点,添加进入位姿i下的点云PCDi中,其中,为距离阈值,若不满足舍去该点;位姿i下左相机图像Img2l_i中每一个激光线上的点都按照步骤3.4~3.7处理,这样得到位姿i下完整的点云PCDi,i=1,2,…,N;4、点云拼接4.1、对N个位姿下的标志球球心三维坐标进行粗匹配:根据每个位姿的标志球球心坐标集Bi:{bi_1,bi_2,…,bi_K},其中该位姿下所有的球心点bi_k=xi_k,yi_k,zi_k,依照xi_k,yi_k,zi_k的顺序,降序进行排列,即首先比较该位姿下的所有球心点的x坐标,并按照降序进行排列,其中,x坐标相同的点根据y坐标降序排列,其中,y坐标相同的点根据z坐标进行降序排列,降序排列后的集合记为Bi′:{bi′_1,bi′_2,…,bi′_K},相邻两个位姿下对应顺序k的球心点bi′_k,bi′+1_k作为一个粗匹配点对,这样得到K个粗匹配点对;对应的标志球上的标志圆三维坐标集合记为Pi′_k:4.2、对匹配的标志球上的标志圆三维坐标集合进行基于距离约束的精匹配:首先,计算距离矩阵Di_k: 其中,为位姿i下第k个标志球上的第q标志圆圆点到其余标志圆q′,q′≠q圆点欧氏距离: 其中,距离矩阵Di_k中的第q行代表位姿i下第k个标志球上的第q标志圆圆点;然后,计算距离矩阵Di_k中第q行的每一欧氏距离与距离矩阵Di+1_k中第q″行的每一欧氏距离的距离二范数但q′≠q,q″′=1,2,…,Qk但q″′≠q″,这样得到Qk-1×Qk-1个距离二范数;统计距离二范数小余距离阈值d*的数量h,如果数量h大于数量阈值h*,则认为位姿i下第k个标志球上的第q个标志圆圆点与位姿i+1下第k个标志球上的第q″个标志圆圆点为匹配点,如果位姿i下第k个标志球上的第q个标志圆圆点与位姿i+1下第k个标志球上的多个标志圆圆点为匹配点,则认为匹配错误,放弃位姿i下第k个标志球上的第q个标志圆圆点的匹配点;如果位姿i下第k个标志球上的第q个标志圆圆点没有匹配点,则放弃该标志圆圆点的匹配;对位姿i、位姿i+1的所有标志球的所有标志圆圆点三维坐标集合进行精匹配,这样得到J*个精匹配点对;4.3、计算旋转矩阵和平移矩阵进行拼接点云首先将位姿i、位姿i+1下的K个粗匹配点对和J*个精匹配点作为匹配点对集合,计算位姿i+1到位姿i的旋转矩阵Ri+1_i以及平移矩阵ti+1_i,然后根据旋转矩阵Ri+1_i以及平移矩阵ti+1_i,将位姿i+1下的点云PCDi+1转换到位姿i下,这样依次转换,将全部点云转换到同一坐标系下,完成点云拼接。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人电子科技大学,其通讯地址为:611731 四川省成都市高新区(西区)西源大道2006号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。