申请/专利权人：上海人工智能创新中心

申请日：2022-07-12

公开（公告）日：2024-06-14

公开（公告）号：CN115170585B

主分类号：G06T7/11

分类号：G06T7/11;G06V10/26;G06V10/762;G06V10/764;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.14#授权;2022.10.28#实质审查的生效;2022.10.11#公开

摘要：本发明提供了一种三维点云语义分割方法，包括：建立融合多种点云表达方式的神经网络；采用经过体素化处理的多帧点云作为神经网络输入；通过神经网络结合神经网络输入信息的图像信息和时序信息，进行三维点云语义分割；以及通过聚类算法对三维点云语义分割结果进行后处理。

主权项：1.一种三维点云语义分割方法，其特征在于，包括：建立融合多种点云表达方式的神经网络；采用经过体素化处理的多帧点云作为神经网络输入；通过神经网络结合神经网络输入信息的图像信息和时序信息，进行三维点云语义分割；以及通过聚类算法对三维点云语义分割结果进行后处理；其中该方法还包括：通过点云的多种表达方式，弥补在体素空间的分辨率不足及在点空间的感受野不足；以及通过不同的体素空间划分方式，弥补远处点云的稀疏；其中该方法还包括：通过将点分支和多种体素划分方式的体素分支进行结合，进行三维点云语义分割；通过引入神经网络输入信息的图像信息和时序信息，提升三维点云语义分割的语义分割结果精度；以及基于聚类对三维点云语义分割结果进行后处理，进一步提升所述语义分割结果精度其中该方法还包括步骤一：采集每帧点云和二维图像，通过投影关系将二者数据集中并对应；通过投影关系获取点云和二维图像的空间对应关系；通过额外训练的二维图像语义分割网络，获得二维图像的语义分割结果；以及通过投影关系、以及二维图像的语义分割结果获取对应点云的类别信息，将类别信息通过one-hot编码作为点云的额外特征维度；其中所述步骤一还包括：通过多帧点云拼接引入时序信息；将一帧点云作为网络的输入，将该帧点云前五帧的点云和后五帧的点云作为额外的神经网络输入信息，增加一维特征维度表示相对于当前帧的相对时间信息；基于引入多帧点云导致增加点云数量、降低网络效率或造成内存溢出错误，对神经网络输入的当前帧和前五帧的点云和后五帧的点云进行体素化处理，以降低点的数量；以及体素化后的体素当作点，以作为神经网络输入信息；其中该方法还包括步骤二：经过步骤一处理的点云作为神经网络输入信息；所述神经网络包括中间的点分支，通过多层感知器进行运算，以保持点云的分辨率不变，不含有下采样和上采样运算；所述神经网络还包括两个体素分支，分别为笛卡尔式体素划分分支和圆柱体式体素划分分支，以增加网络感受野和缓解点云不均匀；以及两个体素分支均通过稀疏卷积进行运算，均为UNet结构，在运算过程中共用四次下采样和上采样运算。

全文数据：

权利要求：

百度查询： 上海人工智能创新中心 三维点云语义分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD