买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：国网江苏省电力有限公司徐州供电分公司;江苏方天电力技术有限公司;国网江苏省电力有限公司

摘要：本发明提供了一种视觉与激光雷达融合的巡检目标点检测方法、系统、介质及设备，对视觉摄像头与激光雷达传感器进行空间配准，得到激光雷达传感器到视觉摄像头的变换矩阵M和视觉摄像头的内参矩阵K；通过视觉摄像头与激光雷达传感器分别获取同一时刻下的视觉图像和点云数据，将点云数据根据变换矩阵M和内参矩阵K投影到图像坐标系与视觉图像对齐，得到稀疏深度图并与视觉图像堆叠，形成多通道特征图；将多通道特征图送入目标检测网络，获取巡检目标点的检测结果；将多通道特征图送入深度补全网络，获取稠密深度图；将巡检目标点的检测结果和稠密深度图在图像坐标系中对齐，获取巡检目标点所在的像素点位置，结合内参矩阵K，依据针孔相机成像原理，由像素坐标系到相机坐标系反向解算得到巡检目标点的三维空间位置。本发明增强了网络特征提取能力，能够降低巡检目标点的误检漏检概率，能够在点云部分缺失的情况下依然输出较为准确的深度信息，并且降低了算法部署与应用难度。本发明可用于解决现有算法特征提取效率低、检测精度不足、误检漏检等技术问题。

主权项：1.一种视觉与激光雷达融合的巡检目标点检测方法，其特征在于，包括：对视觉摄像头与激光雷达传感器进行空间配准，得到激光雷达传感器到视觉摄像头的变换矩阵M和视觉摄像头的内参矩阵K；通过视觉摄像头与激光雷达传感器分别获取同一时刻下的视觉图像和点云数据，将点云数据根据变换矩阵M和内参矩阵K投影到图像坐标系与视觉图像对齐，得到稀疏深度图并与视觉图像堆叠，形成多通道特征图；将多通道特征图送入目标检测网络，获取巡检目标点的检测结果；将多通道特征图送入深度补全网络，获取稠密深度图；将巡检目标点的检测结果和稠密深度图在图像坐标系中对齐，获取巡检目标点所在的像素点位置，结合内参矩阵K，依据针孔相机成像原理，由像素坐标系到相机坐标系反向解算得到巡检目标点的三维空间位置。

全文数据：

权利要求：

百度查询： 国网江苏省电力有限公司徐州供电分公司 江苏方天电力技术有限公司 国网江苏省电力有限公司 一种视觉与激光雷达融合的巡检目标点检测方法、系统、介质及设备