买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京魔门塔科技有限公司

摘要：本发明实施例公开一种用于自动驾驶车辆的Lidar标定方法及装置。应用本发明实施例提供的方案，能够对多相机模组进行标定，得到各相机的内参以及各其他相机相对于主相机的外参后，基于标定得到的相机内参和外参，对各相机图像进行三维重建，得到各三维点集合，并且，可以将Lidar点云数据投影至二维空间得到Lidar深度图，从而可以根据三维点集合和Lidar深度图构建关于由多个相机组成的多相机模组到Lidar的外参的非线性最小二乘优化函数，对函数进行优化得到多相机模组到Lidar的外参，从而在自动驾驶车辆行驶过程中，可以对各传感器采集的数据进行准确的处理，进而保证自动驾驶车辆行驶的安全性。

主权项：1.一种用于自动驾驶车辆的Lidar标定方法，其特征在于，所述自动驾驶车辆安装有多个相机，所述方法包括：获取各所述相机采集的相机图像，以及各所述相机图像对应的采集时刻；根据各所述相机图像计算各所述相机的内参以及各其他相机相对于主相机的外参；所述主相机为所述各相机中任一相机；根据各所述相机的内参以及所述各其他相机相对于所述主相机的外参，对各所述相机图像进行特征点的检测与匹配，得到各所述相机图像的目标位姿；针对每个相机采集的目标相机图像，根据各目标相机图像的采集时刻和目标位姿，确定各目标相机图像与前一帧目标相机图像的距离和角度间隔，并在任一目标相机图像与前一帧目标相机图像的距离大于预设距离阈值，且角度间隔大于预设角度阈值时，将各相机在该目标相机图像采集时刻所采集的相机图像均确定为关键帧；针对各关键帧，确定该关键帧中梯度值大于预设梯度阈值的梯度点，并根据该关键帧的目标位姿对该关键帧中各梯度点进行深度估计得到该关键帧对应的局部三维点信息；并根据各关键帧的采集时刻，以及各关键帧对应的局部三维点信息，统计得到各采集时刻对应的三维点集合；获取Lidar点云数据，在所述Lidar点云数据中识别时间戳与各所述关键帧的采集时间对应的关键Lidar点云数据；并根据Lidar测量模型，将所述关键Lidar点云数据投影至二维空间，并进行双线性插值，得到各Lidar深度图；根据所述各采集时刻对应的三维点集合与所述各Lidar深度图，构建关于由所述多个相机组成的多相机模组到Lidar的外参的非线性最小二乘优化函数，并对所述优化函数进行优化，得到所述多相机模组到Lidar的外参；其中，所述根据各所述相机图像计算各所述相机的内参以及各其他相机相对于主相机的外参的步骤包括：根据各所述相机图像的采集时刻，对各所述相机图像进行同步，得到各图像集；每个图像集中包含每个所述相机所采集的一张相机图像，每个图像集中任两张相机图像的采集时刻之差小于预设时间阈值；针对每张所述相机图像，提取该相机图像中的关键点，并根据所提取的关键点确定该相机图像的全局描述子；获取预先构建的特征地图，所述特征地图包括多帧图像，各所述图像包括各关键点和对应的描述子；针对每张相机图像，在所述特征地图中检索与该相机图像的全局描述子相似度最高的描述子对应的图像，作为该相机图像对应的匹配图像；将各所述相机图像和对应的匹配图像中的关键点进行匹配，并针对每张相机图像，随机采样该相机图像和对应的匹配图像中预设数量对关键点，根据采样得到的关键点计算该相机图像相对所述特征地图的位姿；确定各所述相机中的主相机，针对每个其他相机，根据该相机所采集的各相机图像相对所述特征地图的位姿，以及该相机所采集的各相机图像和对应的匹配图像中的关键点坐标，计算各位姿对应的内点数，并将内点数最高的位姿确定为该相机对应的目标相机图像的初始位姿；根据各图像集中所述主相机所采集相机图像的位姿，计算各图像集对应的主相机坐标系；并针对每个所述其他相机，根据该相机对应的目标相机图像的初始位姿，以及与该目标相机图像同图像集的主相机坐标系，计算该相机相对所述主相机的初始外参；根据各所述主相机坐标系，以及各所述其他相机相对所述主相机的初始外参，对预设优化函数进行优化，得到各所述相机的内参以及各所述其他相机相对于所述主相机的外参；所述根据各所述主相机坐标系，以及各所述其他相机相对所述主相机的初始外参，对预设优化函数进行优化，得到各所述相机的内参以及各所述其他相机相对于所述主相机的外参的步骤包括：根据以下公式对各相机的内参进行优化： 表示j时刻世界系到相机i的坐标变换，θi表示相机i的内参，I表示所有相机集合，J表示所有采集时刻集合，pw为世界系的3D点坐标，u为与3D点匹配的相机图像中的像素点坐标，是由相机内参θi决定的相机的投影模型；针对每个所述其他相机，根据以下公式对该相机相对于所述主相机的外参进行优化： 表示j时刻主相机h的坐标系，表示相机i相对于主相机h的外参。

全文数据：

权利要求：

百度查询： 北京魔门塔科技有限公司 一种用于自动驾驶车辆的Lidar标定方法及装置