买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江苏大学申请的专利一种基于雷达距离视图与图像的多传感器融合检测方法、模型、及模型训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114359664B 。

龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111615306.4，技术领域涉及：G06V10/774；该发明授权一种基于雷达距离视图与图像的多传感器融合检测方法、模型、及模型训练方法是由王海;徐岩松;蔡英凤;陈龙;刘擎超;李祎承设计研发完成，并于2021-12-27向国家知识产权局提交的专利申请。

本一种基于雷达距离视图与图像的多传感器融合检测方法、模型、及模型训练方法在说明书摘要公布了：本发明公开了一种基于雷达距离视图与图像的多传感器融合检测方法、模型、及模型训练方法，所发明的检测方法用于驾驶场景下的多目标检测，检测目标主要包括各种车辆、行人、自从车、交通信号灯，交通标志；所发明的检测模型基于神经网路搭建，对激光雷达生成的距离视图和相机生成的图像进行特征提取和数据关联，生成最终用于检测目标的属性参数；模型训练方法用于融合检测模型的训练，通过损失函数对神经网络各层参数的梯度计算和反向传播进行训练，得到最优的神经网络参数，从而确定融合检测模型各层的参数。

本发明授权一种基于雷达距离视图与图像的多传感器融合检测方法、模型、及模型训练方法在权利要求书中公布了：1.一种基于雷达距离视图与图像的多传感器融合检测方法，其特征在于，包括如下步骤： 步骤1：首先将相机检测的图像进行预处理，然后将预处理后的图像传入多层感知机MLP，获得高分辨率特征图，通过不同的回归头回归物体的中心点及3DBbox的参数,其中物体中心点的预测通过关键点热图keypointheatmap实现； 所述步骤1的具体过程如下： 步骤1.1：假设输入的图像为I∈Rw*h*3，其中w和h分别为图像的宽和高，对输入的图像进行预处理，通过对图像补灰条的形式在不失真的情况下将图像补为方形； 对输入的图像进行预处理操作，首先选取所有图像长边，对长边进行缩放，缩放后的尺寸为512，缩放因子为r，然后将另外的边乘以r得到缩放后的边长，对于短边采用补零padding方式进行补全，将图像最终的尺寸处理为512*512；然后对图像进行归一化操作，使得图像的像素值成高斯正态分布； 步骤1.2：将预处理后的图像送入ResNet-50网络进行卷积和反卷积操作获得高分辨率特征图，其中ResNet-50包括两个基本的模块，分别为ConvBlock和IdentityBlock，其中ConvBlock的输入维度和输出维度不相同，其作用是改变网络的维度；ConvBlock主要包括两个分支：左侧的主分支和右侧的残差分支，主分支是由多层的卷积层Conv2d、归一化层BatchNorm和激活函数ReLu组成，作用是进一步提取特征，残差分支包括一层卷积层Conv2d和归一化层BatchNorm，其作用是在反向传播时防止梯度消失，ConvBlock的主要流程是：输入的特征图分别通过主分支和残差分支处理，然后将生成的数据进行逐元素相加，再使用激活函数ReLu进行非线性处理；IdentityBlock的输入和输出维度相同，其作用是加深网络，其具体结构和ConvBlock相似，区别是残差分支没有对特征图进行任何处理；输入的特征图经过ConvBlock和IdentityBlock的卷积以及批量归一化BN和最大池化Maxpool运算后，将生成的特征图传入1个ConvBlock和2个IdentityBlock，再传入1个ConvBlock和3个IdentityBlock，再传入1个ConvBlock和5个IdentityBlock，再传入1个ConvBlock和2个IdentityBlock，生成特征图C5，再对其进行三次反卷积上采样，得到更高分辨率输出； 步骤1.3：对步骤1.2生成的特征图进行3次卷积操作，其包括一个3×3卷积层和一个1×1卷积层，生成三个预测； 步骤2：将激光雷达点云投影到距离视图rangeview，经过多层感知机MLP生成高语义特征图，将高语义特征图进行栅格化； 所述步骤2的具体过程如下： 步骤2.1：激光雷达对周围物体测量，包括：距离，反射率，传感器的方位角，激光的仰角，雷达的线束idm，则点云中每个点可用下式表示 P表示每个激光雷达点，r表示距离，z表示高度，表示激光的仰角，θ表示传感器的方位角，通过将激光的idm离散为纵坐标y，将方位角离散为横坐标x,构成距离视图，激光雷达有5条输入通道：距离，高度，方位角，反射率，flag；flag表示该图像位置是否有点，当多个点落在同一位置时，保留最近的点的特征； 步骤2.2：将步骤2.1生成的距离视图送入DLA34网络进行特征提取，所述DLA34网络结构包括三层，卷积核的大小分别为64，64，128，其中每一层包含一个特征提取模块和若干个特征聚合模块，在水平分辨率做下采样，垂直分辨率保持不变，输出高语义特征图； 步骤2.3：对步骤2.2生成的高语义特征图进行栅格化操作，划分为128*128的栅格图，其中每个栅格的特征由栅格内的点云的特征做平均化处理； 步骤3：将由步骤1中图像预测的中心点投影到步骤2中由激光雷达距离视图生成的特征图上； 步骤4：通过解码器回归预测的物体的3DBbox及其他的参数；具体如下： 将融合后的特征传入解码器，解码器主要由2部分组成，物体Bbox尺寸回归器和物体类别回归器，两个回归器都是由3层卷积层组成，物体Bbox尺寸回归器最后一层卷积层的参数为卷积的通道数为3，最终的tensor为128,128,3，tensor最后一维表示每个物体的长宽高信息；物体类别回归器最后一层卷积层的参数为卷积的通道数为10，最终的tensor为128,128,10，最后一维表示10种类别的得分，10种类别分别为：轿车、公交车、卡车、火车、摩托车、交通标志、交通信号灯、自行车、骑车人、行人。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江苏大学，其通讯地址为：212013 江苏省镇江市京口区学府路301号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。