买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：松立控股集团股份有限公司

摘要：本发明涉及图像处理技术领域，特别涉及一种2D‑3D坐标系转换方法、系统及电子设备，先将RGB图像转换成重叠的嵌入令牌，同时获取3D建模数据的点云及其体素表示，再分别提取点特征和体素特征后将二者结合获得3D特征，然后通过三层级联的序列组注意力块的特征编码器对2D图像重叠的嵌入令牌进行编码，获取2D图像特征；最后进行2D‑3D特征匹配和坐标系转换，通过级联的序列组注意力结构，将完整特征的不同切分输入到不同的注意力头部，节省计算成本的同时提高了注意力的多样性和特征的辨别性，并且通过引入体素特征，提高了3D特征的表示能力，从而提升2D‑3D坐标系转换的性能。

主权项：1.一种2D-3D坐标系转换方法，其特征在于，包括以下步骤：S1、2D-3D输入数据获取：将RGB图像转换成重叠的嵌入令牌，同时获取3D建模数据的点云及其体素表示，具体过程为：S11、对于给定的RGB训练图像，通过滑动窗口方式划分为若干等大的图像块，其中窗口的步长小于或等于图像块的边长，使图像块之间有重叠；使用一个全连接层或卷积层，将每个图像块的向量映射到C维空间，得到嵌入令牌；S12、对于输入的3D建模数据，获取其体素表示V，将三维空间划分为规则的体素网格，将体素网格表示为一个三维数组，其中每个元素表示一个体素，对于每个点云数据点，使用最近邻搜索算法将每个点云数据点与最近的体素中心点进行关联；S2、3D建模点云和体素特征编码：分别提取点特征和体素特征，将点特征与体素特征相结合获得3D特征；S3、基于级联序列组注意力的2D图像特征编码：通过三层级联的基于对称夹心结构的序列组注意力块的特征编码器对2D图像重叠的嵌入令牌进行编码，获取2D图像特征；所述三层级联的序列组注意力块中在和后分别加入一个下采样层以进行2倍分辨率的下采样以实现多尺度的特征编码，其中，每个序列组注意力块为对称夹心结构，使用序列组自注意力层和前馈交互层进行通道通信，其中包含一个深度空间卷积层和一个前馈层，表示如下：，其中，表示第n个前馈交互层，，N为前馈交互层的总数，和分别表示第n个前馈交互层的输出和输入特征；序列组自注意力层为每个头部接收不同的输入特征子集，并在每个头部之间将输出特征级联，序列组自注意力层的工作过程为：S31、将特征分割为h个子集，即，h是注意力头的总数，对于每个，其中，通过线性变换得到：，，，其中，是将输入特征分解到不同子空间的投影层；S32、通过下式进行线性的自注意力：，其中，是ReLU核函数；S33、利用线性层将各个注意力头串联后的输出特征投影回与输入一致的维度，该过程表述为：，S34、将每个注意力头的输出与后续头结合，以级联地细化特征表示：，其中，是第N个输入分割与第i-1个头的输出相加之和，在计算自注意力时，替换作为第i个头的新输入特征；S35、每个序列组注意力块在若干层前馈交互层中间插入单个序列组自注意力层进行空间混合，在单个序列组自注意力层的前后用N个前馈交互层将转化为，计算过程如下：，其中为的完整的输入特征，最终得到的2D图像特征表示为；S4、2D-3D特征匹配和坐标系转换：对3D特征和2D图像特征进行余弦相似度匹配，并通过基于Gauss-Newton算法的迭代PnP求解器来估计位姿，获得坐标系转换系数。

全文数据：

权利要求：

百度查询： 松立控股集团股份有限公司 一种2D-3D坐标系转换方法、系统及电子设备