买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：国电建投内蒙古能源有限公司;中煤科工西安研究院(集团)有限公司

摘要：本发明公开了一种基于激光雷达和双目视觉自适应融合方法：S01，获取点云数据；S02，拟合初步的三维立体面，获得增强点云数据组；S03，得到多组增强点云数据组；拍摄视觉图像；S04，三维点云数据投影到视觉图像的图像像素平面上；S05，得到图像像素扩张图；S06，获得点云特征标定图；S07，获取巷道双目视觉图像集；S08，得到滤波后的图像集；S09，得到降噪后的图像集；S10，得到增强图像集；S11，获得视觉图像的图像特征图；S12，计算特征匹配度；S13，计算特征权值；S14，获得最优匹配点云特征数据和图像特征图；S15，获得雷达视觉最终融合图。本发明提高了目标识别的准确性，提高了巷道三维建模精度。

主权项：1.一种基于激光雷达和双目视觉自适应融合方法，其特征在于，具体包括如下步骤：S01，使用激光雷达对巷道内进行三维扫描，获取一圈激光雷达的空间距离的点云数据，对其滤波处理得到当前圈激光雷达滤波处理后的点云数据；S02，重复执行S01，获得多圈激光雷达滤波处理后的点云数据，将它们叠加在同一坐标系下，拟合出初步的三维立体面；计算初步的三维立体面中各点与初步的三维立体面的垂直距离，将三维立体面中垂直距离大于设定阀值的点去除，获得增强点云数据组；S03，重复执行S01-S02，得到多组增强点云数据组，作为巷道的三维点云数据集；双目视觉相机同步拍摄双目视觉图像；S04，对S03得到的三维点云数据和双目视觉相机拍摄的双目视觉图像进行标定，基于单位空间坐标进行转换，将三维点云数据投影到视觉图像的图像像素平面上；S05，对S04得到的图像像素平面在水平、竖直方向进行平面扩张，然后在高度方向上进行投影，得到图像像素扩张图；S06，在S05得到的图像像素扩张图中提取距离、相对速度、反光率、相对加速度这四个通道的点云特征信息，获得雷达点云特征标定图；S07，视觉双目相机在同一个位置连续拍摄，获取巷道空间的双目视觉图像集；S08，对S07获取的双目视觉图像集中的图像进行滤波，得到滤波后的图像集；S09，对S08得到的滤波后的图像集中的图像进行去尘降噪，得到降噪后的图像集；S10，对S08得到的降噪后的图像集中的图像进行图像增强，得到增强图像集；S11，建立视觉图像的特征提取网络，采用该特征提取网络对S10得到的增强图像集中的图像进行图像特征提取，获得视觉图像的图像特征图；S12，根据计算S06得到的激光雷达点云特征标定图和S11得到的视觉图像的图像特征图，计算激光雷达点云特征和视觉图像的图像特征图相交的区域面积以及两者融合后的区域面积，然后计算每个特征的特征匹配度；S13，根据S12得到的激光雷达点云特征和视觉图像的图像特征图相交的区域面积、融合后的区域面积以及每个特征的特征匹配度，计算每个特征的权值；S14，在S06得到的激光雷达点云特征标定图和S11得到的视觉图像的图像特征图中，选择数量为23的点云数据特征和图像特征作为一个组合，计算所有组合中所有特征的权值的平均值，选出平均值最大的组合，即获得最优匹配点云特征数据和图像特征图；S15，对S14得到的最优匹配点云特征数据和图像特征图进行采用自适应融合算法进行自适应融合，实现雷达点云坐标和视觉坐标系的对齐，得到坐标对齐后的点云特征数据和图像特征图，即获得雷达视觉初步融合图；然后再将S03获取的三维点云数据集和S10获得的视觉增强图像集融合到雷达视觉初步融合图，获得雷达视觉最终融合图。

全文数据：

权利要求：

百度查询： 国电建投内蒙古能源有限公司 中煤科工西安研究院(集团)有限公司 基于激光雷达和双目视觉自适应融合方法