买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学

摘要：本发明提出了一种基于多尺度异源特征自适应融合的三维目标检测方法，主要解决现有技术在单一传感器数据下对低分辨率三维目标检测精度低的问题，其方案为：建立训练、测试样本集；对点云进行体素初始化和关键点采样；构建三维体素特征编码模块编码体素特征；构建三维候选框估计模块估计三维候选框；构建图像特征编码网络编码图像特征；构建异源特征融合模块融合体素特征、图像特征和关键点特征；构建关键点权重估计模块对关键点作二分类；建立输出层，构建三维目标检测模型并对其训练；使用训练好的模型对点云中的三维目标进行检测。本发明改进了对低分辨率三维目标的表征能力，提高了三维目标的检测精度，可应用于机器人导航、三维建模、自动驾驶与虚拟现实。

主权项：1.一种基于多尺度异源特征自适应融合的三维目标检测方法，其特征在于，包括：1从公开数据集中获取包括训练样本集E1和测试样本集E2，每个样本包括Lidar点云、RGB图像和三维目标的标注信息；2构建包括异源特征融合模块和关键点权重估计模块的异源特征融合网络，其中，异源特征融合模块用于不同模态数据的多尺度特征融合，权重估计模块用于特征融合后关键点的权重估计；其中的异源特征融合模块，包括级联的4个不同尺度下结构相同的特征融合层，每个特征融合层包括3个全连接层、3个特征拼接层和特征映射层，具体结构为：将特征映射层、第一特征拼接层、第一全连接层依次级连，将第二特征拼接层、第二全连接层依次连接，将第一全连接层和第二全连接层分别和第三特征拼接层连接，将第三特征拼接层、第三全连接层依次连接；3构建由异源特征编码模块、异源特征融合网络、三维候选框估计模块和输出层依次连接构成的目标检测模型T，其中：所述异源特征编码模块，包括顺次连接的三维体素特征编码模块、图像特征编码模块，该体素特征编码模块用于多尺度体素空间特征的提取，该图像特征编码模块用于多尺度图像语义特征的提取；所述三维候选框估计模块用于对三维目标的姿态信息进行粗估计，该姿态信息包括三维目标外接立方体的空间坐标、尺度和旋转角；所述输出层用于对融合特征后关键点的池化及三维目标框的精确回归；4利用训练样本集E1，采用梯度下降法对三维目标检测模型T进行训练，得到训练好的目标检测模型T*；5将测试样本集E2输入到训练好的目标检测模型T*进行前向传播，得到三维目标检测结果。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于多尺度异源特征自适应融合的三维目标检测方法