买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏开放大学(江苏城市职业学院)

摘要：本发明公开了一种多深度相机动态外参标定方法及其装置，属于深度相机外参标定的技术领域，方法包括获取多个深度相机在静止状态下的初始外参；对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息；利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息；将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿；根据初始外参和每一深度相机在每一帧的最优位姿，将多个深度相机的视角和位置转换至同一坐标系，实现更广泛的视野和更准确的运动动作捕捉，不仅解决了单个相机视野受限的问题，也极大地提升了对动态目标的捕捉能力。

主权项：1.一种多深度相机动态外参标定方法，其特征在于，包括：获取多个深度相机在静止状态下的初始外参，所述初始外参用于反映静止状态下深度相机在世界坐标下的位姿；获取多个深度相机在运动过程中每一帧的RGB图、深度图和IMU数据；对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息；利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息；将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿；根据初始外参和每一深度相机在每一帧的最优位姿，将多个深度相机的视角和位置转换至同一坐标系，实现多个深度相机之间的动态外参标定；所述对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息包括：获取两帧RGB图的FAST特征点，以及生成对应FAST特征点的BRIEF描述子；通过对BRIEF描述子采用特征匹配的方式，确定两帧RGB图的匹配特征点对；获取两帧深度图中匹配特征点对分别对应的深度信息；根据两帧深度图中匹配特征点对分别对应的深度信息，利用EPnP算法确定深度相机在每一帧的第一位姿信息；所述利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息中：获取在两帧RGB图像对应时间段内深度相机的IMU数据；根据深度相机的IMU数据，利用IMU预积分测量模型确定深度相机的第二位姿信息；所述深度相机的IMU数据包括深度相机的角速度和加速度；所述根据深度相机的IMU数据，利用IMU预积分测量模型确定深度相机的第二位姿信息中：深度相机第二位姿信息包括旋转的预积分测量数值、位置增量的预积分测量数值和速度增量的预积分测量数值；所述旋转的预积分测量数值为： ；其中，为IMU坐标下第i帧深度相机旋转矩阵的转置矩阵，为IMU坐标下第j帧深度相机的旋转矩阵，为旋转测量噪声；所述位置增量的预积分测量数值为： ；其中，为IMU坐标下第i帧深度相机的位置，为IMU坐标下第j帧深度相机的位置，为IMU坐标下第i帧深度相机的速度，为第j帧与第i帧所对应的时间的差值，为重力加速度，为位置测量噪声；所述速度增量的预积分测量数值为： ；其中，为IMU坐标下第j帧深度相机的速度，为速度测量噪声；所述将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿中，将第一位姿信息作为观测结果，将第二位姿信息作为预测结果，使用扩展卡尔曼方法进行融合，并将融合后的位姿作为深度相机在该帧的最优位姿。

全文数据：

权利要求：

百度查询： 江苏开放大学(江苏城市职业学院) 一种多深度相机动态外参标定方法及其装置