申请/专利权人：杭州像素元科技有限公司

申请日：2024-05-30

公开（公告）日：2024-06-25

公开（公告）号：CN118247290A

主分类号：G06T7/10

分类号：G06T7/10;G06V10/80;G06V10/40;G06V10/774

优先权：

专利状态码：在审-公开

法律状态：2024.06.25#公开

摘要：本申请提出了一种语义‑空间融合Transformer的3D全景分割模型的构建方法及应用，包括以下步骤：获取一一对应的多视角图像数据与点云数据作为训练样本并构建3D全景分割架构；将一组对应的多视角图像数据与点云数据输入到所述第一特征提取模块中得到体素特征和图像语义特征；基于图像语义特征获取空间点‑像素映射矩阵；根据体素特征、图像语义特征以及空间点‑像素映射矩阵得到语义嵌入图像特征、语义嵌入体素特征以及空间结构特征进行融合得到语义‑空间融合特征；对语义‑空间融合特征进行3D全景分割。本方案将点云的空间信息与图像的语义信息进行融合来进行3D全景分割来提高3D全景分割的准确率。

主权项：1.一种语义-空间融合Transformer的3D全景分割模型的构建方法，其特征在于，包括：获取一一对应的多视角图像数据与点云数据作为训练样本，构建由第一特征提取模块、空间点-像素映射模块、第二特征提取模块、语义-空间特征融合模块以及全景分割头组成的3D全景分割架构；将一组对应的多视角图像数据与点云数据输入到所述第一特征提取模块中，所述第一特征提取模块包括点云特征提取单元与图像特征提取单元，所述点云特征提取单元对所述点云数据进行特征提取得到体素特征，所述图像特征提取单元对所述多视角图像数据进行特征提取得到图像语义特征；所述空间点-像素映射模块基于图像语义特征获取空间点-像素映射关系，再基于所述空间点-像素映射关系获取空间点-像素映射矩阵；所述第二特征提取模块包括空间结构分支、点云先验分支以及图像先验分支，在所述空间结构分支中基于所述空间点-像素映射矩阵获取图像语义特征的图像2D点级特征，基于体素特征获取点云3D点级特征，将所述图像2D点级特征与所述点云3D点级特征进行空间融合得到空间结构特征，在所述点云先验分支中使用MLP结构对所述体素特征进行类别先验信息的学习得到语义嵌入体素特征，在所述图像先验分支中使用MLP结构对所述图像语义特征进行类别先验信息的学习得到语义嵌入图像特征；在所述语义-空间特征融合模块中对所述语义嵌入图像特征与所述语义嵌入体素特征进行多头自注意力机制的计算得到语义关联信息，所述语义关联特征中包含点云与点云之间的关联信息、点云与图像之间的关联信息、图像与图像之间的关联信息，再对所述语义关联信息与空间结构特征进行多头跨注意力机制的计算得到语义-空间融合特征；将所述语义-空间融合特征输入到所述全景分割头中得到3D全景分割结果，基于所述3D全景分割结果构建损失函数，当损失函数满足设定条件时保存3D全景分割架构的当前参数得到3D全景分割模型。

全文数据：

权利要求：

百度查询： 杭州像素元科技有限公司 语义-空间融合Transformer的3D全景分割模型的构建方法及应用

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD