买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州科技大学

摘要：本发明涉及一种基于语义分割的动态环境双目视觉SLAM方法，包括如下步骤：获取物体的语义掩膜，所述语义掩膜通过深度学习网络生成；采用双目相机获取多帧连续的双目图像；提取每帧双目图像上的特征点，匹配相邻帧双目图像上的特征点；剔除位于语义掩膜上的特征点，并根据剩余的特征点计算相机位姿；基于所述相机位姿分离所述双目图像上的动态物体和静态物体；基于分离后的静态物体重新计算相机位姿；基于更新后的相机位姿以及位于所述静态物体上的特征点构建静态地图。本发明使用双目相机，将经过语义信息分割后的图像作为引导，能够识别场景中的动态、静态物体，并实现地图的构建，本方法运算简单、成本低，且能够应用于大多数实际场景中。

主权项：1.一种基于语义分割的动态环境双目视觉SLAM方法，其特征在于，包括如下步骤：获取物体的语义掩膜，所述语义掩膜通过深度学习网络生成；采用双目相机获取多帧连续的双目图像；提取每帧所述双目图像上的特征点，匹配相邻帧双目图像上的特征点；剔除位于所述语义掩膜上的特征点，并根据剩余的特征点计算相机位姿；基于所述相机位姿分离所述双目图像上的动态物体和静态物体；基于分离后的动态物体估计动态物体的运动参数；基于分离后的静态物体重新计算相机位姿；基于更新后的相机位姿以及位于所述静态物体上的特征点构建静态地图；所述基于所述相机位姿分离所述双目图像上的动态物体和静态物体；基于分离后的动态物体估计动态物体的运动参数的方法包括：分离动态物体：基于所述相机位姿，和相邻帧双目图像与所述语义掩膜的位置关系，计算该语义掩膜对应的物体的运动概率，若所述运动概率大于第一阈值，则判断该语义掩膜对应的物体为动态物体；动态物体匹配：针对所述动态物体，计算该动态物体对应的语义掩膜在相邻帧双目图像的hu矩、中心点欧氏距离以及直方图分布，基于所述hu矩、中心点欧氏距离和直方图分布计算相邻帧双目图像中所述动态物体匹配的概率，若概率大于第二阈值，则相邻帧双目图像中的两个动态物体为同一物体；以及动态物体运动估计：通过所述动态物体匹配完成连续帧之间动态物体的关联，通过PnP算法估计所述动态物体的运动参数；所述基于分离后的静态物体重新计算相机位姿的方法包括：剔除位于所述动态物体对应的语义掩膜上的特征点，根据剩余的特征点，采用PnP算法更新所述相机位姿；所述基于更新后的相机位姿以及位于所述静态物体上的特征点构建静态地图的方法包括：基于更新后的相机位姿和位于所述静态物体上的特征点确定多个关键帧；匹配多个所述关键帧上的特征点，剔除不匹配的特征点；检验匹配后的特征点是否满足对极几何约束，剔除不满足的特征点；检查剩余特征点正向景深、视差、反投影误差和尺度是否一致，剔除不一致的特征点，基于剩余特征点生成地图点；基于所述地图点构建所述静态地图。

全文数据：

权利要求：

百度查询： 苏州科技大学 一种基于语义分割的动态环境双目视觉SLAM方法