申请/专利权人：重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心)

申请日：2023-12-29

公开（公告）日：2024-06-21

公开（公告）号：CN117726687B

主分类号：G06T7/73

分类号：G06T7/73;G06T7/80;G06V10/75;G06V10/80;G06V20/40

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.04.05#实质审查的生效;2024.03.19#公开

摘要：本发明提供了一种融合实景三维与视频的视觉重定位方法，包括基于高空云台和连接所述高空云台的摄像机实时获取视频流和摄像机的位姿，并对所述视频流进行视频帧图像预处理；基于所述摄像机的历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维空间信息的视觉特征库；采用SIFT算法对包含目标点的视频帧进行特征点提取，将所述特征点输入所述视觉数据库查询特征点对应的一组2D‑3D点对；对所述2D‑3D点对采用solvePnP算法来计算出对应目标点的摄像机的位姿，并用RANSAC算法剔除异常值；采用投影变换，将目标点的2D坐标投影转换为目标点的三维坐标。通过视觉重定位技术计算目标点位置，提高了视觉定位的精度和效率。

主权项：1.一种融合实景三维与视频的视觉重定位方法，其特征在于，包括：S1、基于高空云台和连接所述高空云台的摄像机实时获取视频流和摄像机的位姿，并对所述视频流进行视频帧图像预处理；S2、基于所述摄像机的历史监控视频和实景三维数据作为输入，标定出视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维空间信息的视觉特征库：S201、从所述历史监控视频中采样，获取视频帧图像，对所述视频帧图像进行刺点操作，获取所述视频帧图像的一组2D-3D点对，对所述2D-3D点对中2D图像的特征点像素坐标和对应的三维坐标点坐标进行归一化，得到归一化后的2D-3D点对数据；S202、将3D点通过摄像机的初始内外参投影到图像平面，并将投影结果与对应的2D点比较，然后通过最小化误差函数计算摄像机的内参，采用solvePnP算法结合所述2D-3D点对求得所述摄像机的外参，循环交替进行内参计算和外参计算，并采用最小化重投影误差确定最优的摄像机的内参和外参，所述摄像机的内参和外参对应视频帧图像的位姿；S203、基于所述视频帧图像的位姿和实景三维模型，得到视频帧图像对应的深度图和视频帧图像上每个点的三维坐标；S204、将所述视频帧图像的位姿作为起始帧，将所述起始帧相邻帧作为位姿传递的目标帧，对起始帧和目标帧进行特征点提取和匹配，获得特征点之间的匹配对应关系,通过所述起始帧的深度图可知其所有特征点的三维坐标，再由起始帧和目标帧上的特征点匹配对应关系，得到目标帧的一组2D-3D点对，基于目标帧的2D-3D点对重复步骤S202-S203得到目标帧的位姿和深度图；S205、以计算出位姿的目标帧重新作为起始帧，重复步骤S204，并选择下一帧的视频帧图像作为新的目标帧，直至获取全部视频帧图像的位姿，收集所有视频帧图像的2D-3D点对和对应实景三维数据创建视觉特征库；S3、采用SIFT算法对包含目标点的视频帧进行特征点提取，将所述特征点输入所述视觉特征库查询特征点对应的一组2D-3D点对；S4、对所述2D-3D点对采用solvePnP算法来计算出对应目标点的摄像机的位姿，并用RANSAC算法剔除异常值；S5、采用投影变换，将目标点的2D坐标投影转换为目标点的三维坐标。

全文数据：

权利要求：

百度查询： 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 一种融合实景三维与视频的视觉重定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD