申请/专利权人：杭州像素元科技有限公司

申请日：2024-05-21

公开（公告）日：2024-06-18

公开（公告）号：CN118212405A

主分类号：G06V10/25

分类号：G06V10/25;G06V10/54;G06V10/56;G06V10/80;G06V10/762;G06V10/764

优先权：

专利状态码：在审-公开

法律状态：2024.06.18#公开

摘要：本申请提出了一种基于LiDAR点云和RGB图像的3D目标检测模型的构建方法及装置，包括以下步骤：获取训练数据并构建3D目标检测架构；将训练数据输入到特征提取网络进行特征提取得到RGB图像特征与点云体素特征，将RGB图像特征与点云体素特征输入到模态交互网络中得到几何互补图像特征与语义互补体素特征；将点云体素特征、几何互补图像特征以及语义互补体素特征转换到鸟瞰图视角空间后通过特征融合网络进行全局特征和局部特征的聚合得到局部鸟瞰特征和全局鸟瞰特征，将局部鸟瞰特征和全局鸟瞰特征拼接后输入到分类头中输出目标检测结果。本方案通过不同模态的互补特性来根据点云数据与RGB图像数据进行高精度目标检测。

主权项：1.一种基于LiDAR点云和RGB图像的3D目标检测模型的构建方法，其特征在于，包括以下步骤：获取一一对应的多视角RGB图像数据与LiDAR点云数据作为训练样本，构建3D目标检测架构，所述3D目标检测构架包括特征提取网络、模态交互网络、特征融合网络以及分类头组成；将训练样本中一组对应的多视角RGB图像数据与LiDAR点云数据输入到特征提取网络中进行特征提取得到RGB图像特征与点云体素特征；所述模态交互网络包括第一交互单元与第二交互单元，在所述第一交互单元中将点云体素特征投影到RGB图像特征中并通过双轴编码器进行特征交互得到几何互补图像特征，在所述第二交互单元中通过可变形交叉注意力机制将RGB图像特征的像素与点云体素特征的聚类中心进行对应得到语义互补体素特征；分别将点云体素特征、几何互补图像特征以及语义互补体素特征转换到鸟瞰图视角空间得到点云鸟瞰特征、几何互补鸟瞰特征以及语义互补鸟瞰特征后输入到特征融合网络中，所述特征融合网络包括局部特征融合单元和全局特征融合单元，在所述全局特征融合单元中将点云鸟瞰特征、几何互补鸟瞰特征以及语义互补鸟瞰特征进行拼接后进行可变形自注意力的计算得到全局鸟瞰特征，在所述局部特征融合单元中使用可变形交叉注意力机制对点云鸟瞰特征、几何互补鸟瞰特征以及语义互补鸟瞰特征中的局部信息进行聚合得到局部鸟瞰特征；将所述全局鸟瞰特征与所述局部鸟瞰特征进行拼接后输入到分类头中得到目标检测结果，基于所述目标检测结果构建损失函数，当损失函数满足设定条件后保存3D目标检测架构的当前参数得到3D目标检测模型。

全文数据：

权利要求：

百度查询： 杭州像素元科技有限公司 基于LiDAR点云和RGB图像的3D目标检测模型的构建方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD