买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽炬视科技有限公司

摘要：本发明提出了一种基于人体骨架点检测的相机外部参数自标定方法，解决了现有相机自标定方法存在着鲁棒性差、精度低，且图像噪声会在无穷远平面处放大的缺点等问题，其方法步骤主要包括：S1、由yolov7人体检测模型检测左右两相机拍摄图像，而后截取对应人体区域图像并送入hrnet网络以检测人体骨架关节点；S2、对左右相机的人体骨架关节点进行匹配；S3、由匹配的人体骨架关节点计算相机本质矩阵，并反解出两相机相对外参；S4、由多帧视频人体骨架关节点匹配优化相机外参。

主权项：1.一种基于人体骨架点检测的相机外部参数自标定方法，其特征在于，包括如下步骤：S1、由yolov7人体检测模型检测左右两相机拍摄图像，而后截取对应人体区域图像并送入hrnet网络以检测人体骨架关节点；S2、对左右相机的人体骨架关节点进行匹配，具体如下，采用ORB图像匹配方法获取左右两相机拍摄图像的投影匹配点，计算透视变换矩阵，经透视变换将检测出的左相机拍摄图片的人体框变换至右相机画面对应像素位置，采用匈牙利算法对从左相机画面透视变换至右边相机画面的人体框，并与右相机拍摄图像的人体框进行匹配，由人体框的匹配关系确定左右两相机拍摄图像对应的人体骨架关节点间的匹配关系，所述步骤S2中对左右相机的人体骨架关节点进行匹配的具体计算步骤下，由ORB图像匹配方法获取左相机拍摄图像上的投影点像素值分别为，对应在右相机拍摄图像上的投影匹配点像素值分别为，i为投影点数量，由透视变换原理， ，其中，A为8自由度透视变换矩阵，为待求解的透视变换矩阵参数，代入数量大于等于4的不共面的匹配点（）,求解透视变换矩阵A，检测出的左相机画面的人体框为,为左相机画面人体框左上角坐标，为左相机画面人体框右下角坐标，透视变换至右相机画面后为,对应的j个人体骨架关节点经透视变换至右相机画面的像素位置为,变换后的人体骨架关节点为,检测出的右相机画面的人体框为,为右相机画面人体框左上角坐标，为右相机画面人体框右下角坐标,对应的j个人体骨架关节点为,人体骨架关节点为,k为检测出的人体框数量,采用匈牙利算法将与进行匹配，每一个人体框对对应着j个人体骨架关节点，由人体框的匹配关系确定左右两相机拍摄图像对应的人体骨架关节点间的匹配关系，其中，匈牙利算法进行匹配时，如果两个框之间距离超过一定阈值，这两个框无法建立匹配，两个框的距离采用框对应的人体骨架关节点间的欧氏距离,计算方式如下， 其中，为要匹配的左相机画面人体框对应的第j个人体骨架关节点经透射至右相机画面的像素坐标，为要匹配的右相机画面人体框对应的第j个人体骨架关节点像素坐标，人体框匈牙利算法匹配过程如下， 其中，为的一种可能的匹配结果，为与的对应的人体骨架关节点间的欧氏距离，表示匈牙利算法匹配求解过程，为最优匹配结果；S3、由匹配的人体骨架关节点计算相机本质矩阵，并反解出两相机相对外参；S4、由多帧视频人体骨架关节点匹配优化相机外参。

全文数据：

权利要求：

百度查询： 安徽炬视科技有限公司 一种基于人体骨架点检测的相机外部参数自标定方法