买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海几何伙伴智能驾驶有限公司

摘要：本发明公开了一种基于雷视融合的三维空间占据与目标检测的系统及方法。相比于单任务的目标检测，本发明联合检测和占据能提供更为准确、稠密的场景描述信息。在数据选择上，本发明利用自研4D毫米雷达作为点云数据输入，其信噪比较高且数据量高达约6000，能非常好的提供目标反射点空间信息和速度信息，且夜间可视、不惧风雨等恶劣天气；多路环视图像提供了自车周围非常丰富的类别语义信息，却受分辨率、天气等影响。因此，将二者有效结合，利用各自数据特性，将多传感器数据进行某种方式融合可实现优势互补，改善单模态感知性能表现，提高检测系统的准确性和鲁棒性。

主权项：1.一种基于雷视融合的三维空间占据与目标检测的方法，其特征在于，包括以下步骤：步骤1、接收4D毫米波雷达点云和图像数据；步骤2、对4D毫米波雷达点云和图像数据进行预处理；步骤3、由占据和检测联合模型对预处理后的4D毫米波雷达点云和图像数据进行三维空间占据与目标检测，具体包括以下步骤：步骤301、占据和检测联合模型从预处理后的4D毫米波雷达点云以及图像数据中提取雷达特征和图像特征；步骤302、将提取的雷达特征和图像特征进行融合，得到三维空间占据信息，包括以下步骤：将雷达特征和图像特征沿通道进行拼接；获得进行信息交互的不同尺寸的特征图；步骤303、根据不同尺寸特征图之间的信息交互，融合高层的语义信息和低层的空间位置信息，检测目标并生成三维占据网格点和框，包括占据任务以及目标检测任务，其中：在推理阶段，占据任务使用步骤302获得的第一个特征图F0，特征图F0经CRC卷积处理和维度重塑后，得到5个类别的特征图𝛰𝑜𝑐𝑐,𝑐l𝑠和3个速度的回归特征图𝑂𝑜𝑐𝑐,𝑟𝑒𝑔；特征图𝛰𝑜𝑐𝑐,𝑐l𝑠经过Sigmoid激活函数并使用类别阈值为0.1进行置信度过滤得到特征图Οocc,cls,sig和特征图Οocc,mask，再结合裁减范围pcr、占据点的网格尺寸大小和通道顺序，转换成具有真实世界坐标和类别的离散点占据点Ocls，并结合特征图Οocc,mask获得自车速度与目标速度，由此，联合类别和速度预测量的输出，得完整的占据点输出；在推理阶段，目标检测任务使用步骤302获得的第三、第四、第五个特征图，将这些特征图进行通过合并后获得特征图Fcat,det；特征图Fcat,det经过CRC结构得到预测框属性集合；结合网格数grid_det、世界范围point_range、网格大小voxel_det，并以一定顺序展开固定网格空间，得到等间隔网格散点，随后对于预测框属性集合中的每一个预测框属性以相同顺序展开，得预测框的原始输出；预测框的原始输出经过NMS过滤后，得最终可用的box集合；联合占据任务和目标检测任务的推理结果，输出目标三维占据网格点和框，以及背景的占据点；步骤301中，所述占据和检测联合模型采用以下方法提取所述图像特征：将经过所述步骤2预处理的图像数据记为输入图像，输入图像经过ResNet50前四部分模块的网络层获得特征图C4，且输入图像经过ResNet50前三部分模块的网络层获得特征图C3；对特征图C4作上采样2倍和双层核为1的卷积，随后与被双层核为1的卷积后的特征图C3合并，得到图像特征下采样8倍后的可用图像特征图I；结合裁减范围pcr和网格尺寸size，建立3D空间体素中心点张量G3D，且3D空间体素中心点张量G3D通过相机内外参投影并约束到与可用图像特征图I相同尺寸大小的二维图像特征图范围内；随后，将3D空间体素中心点张量G3D进行坐标归一化，得带有深度信息的参考图像Gimg；将可用图像特征图I中的每一路图像特征依次结合参考图像Gimg，并通过双线性采样方式采样到尺寸与3D空间体素中心点张量G3D网格大小一致的空间特征图Fs上；依次合并各个视角相机的特征图Fs，再通过维度重塑压缩至BEV空间，得到所述图像特征。

全文数据：

权利要求：

百度查询： 上海几何伙伴智能驾驶有限公司 基于雷视融合的三维空间占据与目标检测的系统及方法