买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海海洋大学

摘要：本发明公开了一种基于双目相机与激光雷达融合的目标检测方法，属于水上舰艇以及水上大型船舶的感知技术领域。包括：构建双目相机与激光雷达传感器融合的空间模型，采集双目图像和点云；针对所述双目图像进行自适应局部直方图均衡化、边缘化及灰度化预处理；针对所述点云建立自适应滤波规则进行点云预处理，并进行点云聚类；构建改进的YOLOv5网络模型对预处理后的所述双目图像进行检测，并计算深度信息和视差信息；将所述深度信息与所述不同的点云集群的点云进行二次映射匹配并检测，获得目标检测结果。本发明解决了水上目标检测依赖图像信息导致检测精度不高的问题，同时实现了基于双目相机与激光雷达的进行融合加权测距以及区分海天线的功能。

主权项：1.一种基于双目相机与激光雷达融合的目标检测方法，其特征在于，包括如下步骤：1构建双目相机与激光雷达融合空间模型，并基于此模型采集双目图像和点云；2针对所述双目图像，进行自适应局部直方图均衡化、边缘化及灰度化的预处理；3针对所述点云，建立自适应滤波规则进行点云预处理，并进行点云聚类，得到不同的点云集群；4构建改进的YOLOv5网络模型，对预处理后的所述双目图像进行检测，并计算深度信息和视差信息；所述改进的YOLOv5网络模型具体为：输入端将输入的不同尺度图像缩放为统一尺度的图像；在分类训练阶段，使用Mosaic数据增强操作提升图像预测模型的训练速度和网络的精度；主干网络C3替换为更加轻量化网络ShuffleNetV2结构；并将损失函数CIOU替换为EIOU函数，其惩罚项公式如下： 其中：LIOU为重叠损失，Ldis中心距离损失，Lasp为宽高损失；p代表的是计算预测框和真实框两个中心点间的欧氏距离；c代表能够同时包含预测框和真实框的最小闭包区域的对角线距离；b，bgt分别代表了预测框和真实框的中心点；w，wgt为预测框和真实框的宽；h，hgt代表了预测框和真实框的高；4.1利用改进的YOLOv5网络模型对预处理后的所述双目图像的左右两幅图像进行目标检测，获取目标物体的位置和类别信息；4.2通过双目视差计算算法，对所述左右两幅图像进行匹配，得到所述视差信息，并进而计算出所述深度信息； 其中：Z为所述深度信息，即目标中心点到所述双目相机两相机中心点的距离；f为所述双目相机的焦距；B为所述双目相机两相机的中心距离；d为待观测场景的某一点在所述双目相机两个相机上的成像点Ptar_l，Ptar_r之间的距离；B-d为所述视差信息，即左右两幅图像像素之间的水平偏移量；5将所述深度信息与所述不同的点云集群的点云进行二次映射匹配并检测，获得目标检测结果。

全文数据：

权利要求：

百度查询： 上海海洋大学 一种基于双目相机与激光雷达融合的目标检测方法