申请/专利权人：北京航空航天大学

申请日：2022-01-12

公开（公告）日：2024-06-21

公开（公告）号：CN114708321B

主分类号：G06T7/73

分类号：G06T7/73;G06T7/10;G06T5/77;G06V10/26

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2022.07.22#实质审查的生效;2022.07.05#公开

摘要：本发明涉及一种基于语义的相机位姿估计方法及系统，其方法包括：S1：利用RGB图像序列构建图像数据库、语义特征数据库和全局特征数据库；S2：提取待估位姿RGB图像的全局特征向量进行RGB检索，得到RGB检索结果集合R1；S3：提取待估位姿RGB图像的静态语义图的语义特征向量进行语义检索，得到检索结果集合R2；S4：对R1和R2使用区间选择算法进行优化，得到集合R；步骤S5：将R中每幅图像与待估位姿RGB图像构成图像对，通过图像特征匹配和图像数据库的三维信息得到2D‑3D匹配对，输入位姿估计算法计算得到相机的位姿估计。本发明提供的方法，利用图像语义信息增强位姿估计算法的鲁棒性，使其在环境光照变化、动态物体遮挡情况下得到更准确的位姿估计结果。

主权项：1.一种基于语义的相机位姿估计方法，其特征在于，包括：步骤S1：通过相机预先获取RGB图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；将所述RGB图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对所述语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取所述静态语义图序列的语义特征向量，构建语义特征数据库；提取所述RGB图像序列的全局特征向量，构建全局特征数据库，具体包括：步骤S11：通过相机预先获取RGB图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；步骤S12：将所述RGB图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对所述语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取所述静态语义图序列的语义特征向量，构建语义特征数据库，具体包括：步骤S121：使用语义分割网络获取所述RGB图像序列的语义分割结果序列；步骤S122：利用语义图修复方法对所述语义分割结果序列进行恢复，将RGB图像中动态语义标签替换成静态语义标签，得到静态语义图序列；步骤S123：设定一个二维分布的评分图函数作为采样函数，其中，的定义域覆盖整幅静态语义图；步骤S124：利用对所述静态语义图进行打分，针对中的每一个像素位置p，其在中对应的函数值便为该位置的分值权重，其中，，代表上的像素位置；步骤S125：针对中的每一个语义标签类c，根据的打分结果，计算该语义标签类的总分值权重，其中，为指示函数，当p处的标签与c相同时取1，否则取0；步骤S126：针对中的种语义标签，按照预定的顺序将个总分值权重排列为一个维向量，对其进行归一化操作，并将归一化后的结果作为所述静态语义图的语义特征向量；步骤S127：采用N个不同评分函数分别执行步骤S123~S126，得到N个不同的K维向量，最后将其按预定的顺序拼接为一个NK维的向量，对向量进行归一化操作，并将归一化后的结果作为的最终静态语义特征向量；步骤S128：重复步骤S123~S127，提取所述静态语义图序列中所有静态语义图的语义特征向量，得到语义特征数据库；步骤S13：提取所述RGB图像序列的全局特征向量，构建全局特征数据库；步骤S2：获取一张相机拍摄的待估位姿RGB图像，提取所述待估位姿RGB图像的全局特征向量，计算所述全局特征向量与所述全局特征数据库中全局特征向量的欧几里得距离，使用最近邻匹配算法进行RGB检索，得到RGB检索结果集合；步骤S3：将所述待估位姿RGB图像输入所述语义分割网络，得到语义分割结果；利用语义图修复方法对所述语义分割结果进行恢复，得到静态语义图；获取所述待估位姿RGB图像的静态语义图的语义特征向量，计算所述语义特征向量与所述语义特征数据库中语义特征向量的欧几里得距离，使用最近邻匹配算法进行语义检索，得到语义检索结果集合；步骤S4：对和进行整合后使用区间选择算法进行优化，得到优化后的检索结果集合R，具体包括：步骤S41：根据集合和中每张RGB图像ID，求取集合和的并集，将按升序或降序进行排列，得到排序后的图像序列T；步骤S42：使用窗口尺寸固定为m的滑动窗口，从T的左侧滑动到右侧，针对每个滑动位置，计算该位置处的所述滑动窗口的区间绝对值，其中，m小于等于序列T的长度；所述滑动窗口的区间绝对值通过所述滑动窗口的右侧图像ID减去其左侧图像ID，再对结果取绝对值得到；步骤S43：选择所述滑动窗口区间的绝对值最小的位置，并将处在该位置的窗口包含的m个图像作为优化后的检索结果集合R；步骤S44：如若有多个位置的窗口区间绝对值并列为最小，则针对每一个位置生成一个优化后的检索结果集合R，然后从中选择一个或多个集合分别进行后续步骤；步骤S5：将R中每幅图像与所述待估位姿RGB图像构成图像对，利用图像局部特征提取和匹配技术生成2D-2D匹配点对，并结合图像数据库中的三维信息转化为2D-3D匹配点对；将所述2D-3D匹配对输入位姿估计算法，得到所述相机的位姿估计。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种基于语义的相机位姿估计方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD