申请/专利权人：电子科技大学

申请日：2024-03-26

公开（公告）日：2024-06-25

公开（公告）号：CN118243104A

主分类号：G01C21/20

分类号：G01C21/20;G01C21/16;G01C11/04;G06T7/269

优先权：

专利状态码：在审-公开

法律状态：2024.06.25#公开

摘要：本发明提供了一种基于多相机观测的高精度高鲁棒性视觉惯性里程计定位方法，属于计算机视觉技术领域，先进行多相机的同步数据采集，对图像组中的各图像进行多相机前端特征跟踪，获得各图像组的特征关联结果，基于此构建代价函数，通过构建三层自适应置信度加权模型，实现自适应多相机后端状态估计，并执行滑动窗口优化。本发明通过构建可适应场景变化的三层自适应置信度加权模型，实现相机权重的动态调整，最大化融合并有效利用多相机数据，全面评估特征质量、跟踪误差以及相机观测数据的可靠性，显著提升视觉惯性里程计的精度和鲁棒性，为定位系统带来更高的稳定性和优异性能。

主权项：1.一种基于多相机观测的高精度高鲁棒性视觉惯性里程计定位方法，其特征在于，包括以下步骤：步骤1：数据采集阶段同步X个相机采集的图像，将同一时刻采集的X个图像打包为图像组，共计采集多个图像组帧，获取相邻图像组帧之间的IMU测量数据，并进行预积分处理，得到IMU预积分量；其中，X为正整数；假设有一个3D空间点P，能同时被不同图像组帧观测到；步骤2：对图像组中的各图像进行多相机前端特征跟踪，具体为：步骤2.1：将各图像均划分为M个图像网格块，M为正整数；步骤2.2：利用FAST特征检测算法，并行地对各图像的所有图像网格块提取FAST特征，在各图像网格块中保留所得权重值最高的特征点，进而得到各图像的特征；步骤2.3：使用KLT光流跟踪上一图像组中各图像的特征，建立当前图像组与上一图像组中对应特征的关联，得到特征关联对，完成前向KLT光流跟踪；步骤2.4：基于前向KLT光流跟踪所得特征关联对，使用KLT光流跟踪当前图像组中各图像的特征，完成反向KLT光流跟踪，得到对应于特征关联对的跟踪结果；步骤2.5：计算所得跟踪结果与上一图像组中各图像的特征所在位置的距离差，根据预设的距离误差阈值，剔除距离差大于距离误差阈值的特征关联对，获得各图像正确的特征关联对；步骤2.6：假设所有图像正确的特征关联对共计N个，将N个正确的特征关联对打包后，得到该图像组的特征关联结果；其中，第b,b＝1,2,...,N个正确的特征关联对表示为ib,jb,b＝1,2,...,N，ib为上一图像组中的特征点，jb为当前图像组的特征点，代表上一图像组与当前图像组能同时观测到3D空间点P；其中，N为正整数；步骤3：自适应多相机后端状态估计步骤3.1：根据IMU预积分量，构建IMU误差模型，并固定IMU误差的权重为1；步骤3.2：根据所有图像组的特征关联结果，统计3D空间点P被观测到的帧数n，以及第l,l＝1,2,...,X个相机跟踪到的正确的特征关联对数量Ol,l＝1,2,...,X，并构建视觉观测误差模型，包括第1次观测到3D空间点P时对应图像组帧，与此后每一次观测到3D空间点P时对应图像组帧之间的视觉观测误差；基于IMU误差模型和视觉观测误差模型，构建代价函数；步骤3.3：构建三层自适应置信度加权模型，包括依次的局部视觉特征层、全局视觉特征层和多传感器层；其中，所述局部视觉特征层用于动态调整视觉观测误差模型的协方差矩阵因子，具体为：计算各图像网格块的图像梯度评价指标Qgradient：Qgradient＝Kg·EGsG式中，G为各图像网格块中所有像素点的归一化梯度累加值；E·和s·分别代表计算均值和协方差；Kg为取值0～1的权重；计算各图像网格块的图像熵评价指标Qentropy： 式中，Ke为取值0～1的权重；Pk表示各图像网格块中像素值为k的概率；计算各图像网格块的特征分数Q：Q＝α×Qgradient+1-α×Qentropy式中，α表示图像梯度的权重因子，取值为0～1；计算特征关联结果中各特征关联对ib,jb的评分 式中，β为特征点ib的质量权重因子，取值0～1；为特征点ib对应图像网格块的特征分数；为特征点jb对应图像网格块的特征分数；进而，动态调整视觉观测误差模型的协方差矩阵因子 所述全局视觉特征层用于计算视觉观测误差模型中第1次观测到3D空间点P时对应图像组帧，与此后第u,u＝2,3,...,n次观测到3D空间点P时对应图像组帧之间的视觉观测误差的权重ω1,u,u＝2,3,...,n： 式中，σ为预设的权重上限，取值为2；所述多传感器层用于计算第l个相机的权重ωl； 式中，Omax为所有相机中跟踪到的正确的特征关联对数量最大值；假设第g个相机观测到3D空间点P，进而在各视觉观测误差的权重ω1,u上乘以第g个相机的权重ωg，得到自适应视觉观测误差模型；步骤3.4：以Z个图像组帧为一个滑动窗口，紧耦合优化代价函数，以最小化IMU误差和视觉观测误差，进而得到定位信息；步骤3.5：当出现新的图像组帧时，将滑动窗口中最初始的图像组帧的定位信息边缘化处理，作为下一次优化代价函数的先验信息。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于多相机观测的高精度高鲁棒性视觉惯性里程计定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD