申请/专利权人：广西师范大学

申请日：2024-01-12

公开（公告）日：2024-04-09

公开（公告）号：CN117853545A

主分类号：G06T7/33

分类号：G06T7/33;G06V10/44;G06V10/766;G06V10/80;G06V10/82;G06N3/0464

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明涉及一种面向双残缺点云的配准方法，包括如下步骤：1）数据获取；2）构建跨点云信息交互的强化特征生成器；3）构建掩膜预测模块；4）构建自适应多特征融合机制；5）构建变换回归模块。这种方法能够有效的配准非完全重叠的点云，对待配准点云初始位姿差、重叠比例低、噪声干扰等不利因素有较好的鲁棒性。

主权项：1.一种面向双残缺点云的配准方法，其特征在于，设计了跨点云的强化特征交互机制和自适应的多特征融合机制，以完成双残缺点云配准任务，所述方法包括如下步骤：1数据获取：对现有ModelNet40数据集中的CAD模型进行随机采样，得到若干个包含1024个点的三维点云作为源点云，复制源点云得到参考点云，分别计算出源点云和参考点云中所有点在X，Y，Z三个坐标轴上坐标的均值，形成两个坐标即质心坐标，再将源点云和参考点云中的每个点分别减去各自的质心坐标，以达到将点云的质心移到坐标原点的目的；然后对每一对源点云和参考点云分别进行随机裁剪，裁剪比例为30％，裁剪完成后，所有点云中都会剩下1024*1-30％＝717个点，具体的裁剪方式为对每个点云，都在以点云质心为坐标原点的空间中随机放置一个经过点云坐标原点的平面，该平面会将该点云分成两个对半的空间，在这两个对半的空间内按距离远近采集离该平面最近的717个点，再对裁剪后的每个源点云进行随机的旋转和平移变换，得到若干对存在位姿差异和形状差异的源点云-参考点云对，即双残缺点云数据集；2构建跨点云信息交互的强化特征生成器：采用一个迭代式的网络，迭代次数为4，每次迭代均会输出预测的源点云的重叠掩膜src_pred_mask、预测的参考点云的重叠掩膜ref_pred_mask和预测的7D位姿向量pose_pred，其中，src_pred_mask和ref_pred_mask的形状均为B,717，B指代Batchsize，717与点云中点的数量相对应，数值为0或1，指代每个点云的717个点中的每一个点是非重叠点或重叠点，7D位姿向量pose_pred的前四维代表旋转四元数，后三维代表平移向量，用来实现将源点云与参考点云对齐，完成点云配准任务；由于前两次迭代，网络难以准确预测重叠掩膜，而网络的运行流程中又需要使用重叠掩膜，因此，在前两次迭代开始时，网络都会初始化src_pred_mask和ref_pred_mask为全1的向量，以保证准确率；在后两次迭代中，预测的重叠掩膜变得准确，因此网络会使用上一次迭代输出的src_pred_mask和ref_pred_mask进行运算，而每次迭代，网络都是相同的流程，以第一次迭代为例进行介绍：跨点云信息交互的强化特征生成器的输入是一个点云和一个重叠掩膜，在网络运行时，强化特征生成器分别接受源点云和参考点云以及它们各自的重叠掩膜src_pred_mask和ref_pred_mask作为输入，其目标是在考虑重叠掩膜的情况下，生成具有增强后的源点云和参考点云的全局特征以及它们各自的局部特征的混合特征，为后续的重叠掩膜预测和位姿回归提供更为准确的特征信息，构建跨点云信息交互的强化特征生成器主要包括以下两个步骤：2-1构建特征提取模块：该模块由5个堆叠的Conv-BN-ReLU层组成，接受源点云Src和参考点云Ref以及它们各自的重叠掩膜src_pred_mask和ref_pred_mask作为输入，其目标是在考虑重叠掩膜的情况下，学习一个函数f·，分别将输入源点云Src和参考点云Ref的坐标从3维升到1024维，产生源点云和参考点云的全局特征FSrc和FRef，考虑重叠掩膜是为了屏蔽非重叠点特征的影响，全局特征的计算公式如下：F＝fpc,Mask1F表示特征提取模块提取的全局特征，pc表示输入的点云，Mask表示重叠掩膜，经过特征提取模块，分别获得源点云和参考点云的全局特征FSrc和FRe以及经过第二个卷积层后的源点云和参考点云的局部特征fSrc和fRef；2-2进行跨点云的强化特征交互：首先对特征提取模块输出的特征进行拼接，得到源点云和参考点云的拼接特征USrc和URef，相对于拼接特征，全局特征和局部特征均称为部分特征，拼接特征的公式如下所示： 如公式4所示，对拼接特征USrc和URef进行归一化，然后对USrc使用两个独立的1D卷积进行特征维度不变的投影得到χ1，χ2，对URef也使用这两个独立的1D卷积进行特征维度不变的投影得到χ3，χ4；χ1，χ2和χ3，χ4分别对应和χ＝Conv1dBatchnormInput4将3个独立的BN-Conv层分别称为A，B，C，采用公式4，用A对fSrc和fRef进行处理，得到χ5，χ6，分别对应用B对FSrc和FRef进行处理，得到χ7，χ8，分别对应用C对FRef和FSrc进行处理，得到χ9，χ10，分别对应将和分别与作矩阵乘法，得到矩阵和再将和分别与作矩阵乘法，得到矩阵和这些矩阵代表部分特征和跨点云拼接特征之间的特征相关性，将和除以防止矩阵内的数值过大导致后续进行Softmax操作时偏导数趋于0，然后分别对各矩阵的特征维度进行Softmax操作，得到特征相关性矩阵中每一个特征的分数和再将与作矩阵乘法，和与作矩阵乘法得到精炼后的特征和用如下公式来表示： T表示精炼后的部分特征，QFb表示部分特征的Query，KU表示跨点云拼接特征的Key，VU表示跨点云拼接特征的Value，中的d表示点云中含有的点的数量，公式5根据部分特征对于跨点云拼接特征不同的相关性，对部分特征进行了放缩，得到精炼后的部分特征，再将精炼后的部分特征与对应的部分特征加起来，得到增强后的部分特征 公式如下：F‘＝T+Fb6其中，F‘表示增强后的部分特征，T表示精炼后的部分特征，Fb表示对应的部分特征即全局特征或局部特征，增强部分特征的目的有两个，第一是放缩后的特征在训练过程中可能出现梯度消失或者梯度弥散，通过残差连接把原本的信息加进去，能够稳定训练的梯度；第二是精炼的特征可以起到增强原特征的作用；然后，将增强后的部分特征拼接起来得到强化拼接特征Cs，再将拼接起来得到强化拼接特征Cr，用3个堆叠的Conv-BN-Relu层，对Cs和Cr进行深度特征融合，得到跨点云信息交互的强化融合特征GSrc和GRef；3构建掩膜预测模块：该模块由4个堆叠的Conv-BN-Relu层组成：将跨点云信息交互的强化融合特征Gsrc和GRef分别作为该模块的输入，得到两个2维向量，对这两个2维向量使用torch.argmax函数，分别得到针对源点云和参考点云的预测的重叠掩膜，用于后续迭代过程，重叠掩膜的作用是区分点云中的哪些点是重叠点，由此可以屏蔽非重叠点造成的负面干扰，从而将双残缺点云的配准转化为相同形状点云的配准，降低后续回归变换矩阵的难度；4构建自适应多特征融合机制：将步骤3中把GSrc和GRef输入掩膜预测模块后前三层的输出拼接起来，分别得到和对GSrc,GRef,和分别使用卷积核大小为3的1D卷积进行投影，使投影后的维度均为1，卷积核大小设置为3的目的是增大卷积操作的感受野，增强特征的表达能力，同时，设置一个共享的query，形状为717,1，共享的目的有两点：第一点是减少参数量，使计算更高效；第二点是后续用同一个query跟四个投影相乘，保证最终的结果在同一量级；对投影后的特征均使用Tan激活函数，增强特征的表达能力，同时对特征的值均进行归一化，然后将投影且归一化后的特征与共享的query作矩阵乘法，分别得到不同特征的分数，用如下公式表示： Fscore表示特征分数，Tan表示Tan激活函数，conv1d表示1D卷积，fi表示输入的特征，query表示共享的query，然后将这四个分数拼起来,通过Softmax函数，可以自适应的对每个特征基于其不同的贡献得到归一化后的分数，分数高代表相应的特征在后续的运算中更为重要，如公式8所示： 根据不同的Score与原特征GSr,GRef,和进行HadamardProduct，将分数扩散到每一个特征，实现特征层面的放缩，提高更为重要的特征的数值，进而在后续变换回归预测的过程中拥有更高的影响力，公式如下所示：feature＝fin⊙Scorei9fin表示输入的特征，Scorei表示与特征相对应的归一化后的分数，将四个feature拼接起来，得到最终输入变换回归模块的总特征；5构建变换回归模块：变换回归模块由5个堆叠的Linear-BN-ReLU层组成，将步骤4得到的总特征输入到变换回归模块，得到一个7D向量，前四维代表旋转四元数，后三维代表平移向量，通过该7D向量来实现源点云与参考点云对齐，完成点云配准任务。

全文数据：

权利要求：

百度查询： 广西师范大学 一种面向双残缺点云的配准方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD