申请/专利权人：东南大学

申请日：2024-04-26

公开（公告）日：2024-06-21

公开（公告）号：CN118229799A

主分类号：G06T7/80

分类号：G06T7/80;G06V10/80;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明公开了一种基于Transformer的特征级相机‑激光雷达在线标定方法，首先利用手眼估计器对相机和激光雷达进行粗标定，通过估计的初始六自由度外参将激光雷达原始点云投影到图像上，得到粗标定后匹配的激光雷达点云与相机图像；再构建多约束Transformer深度网络模型并进行模型训练，输出预测后更精准的六自由度外参；所述网络模型包括Token金字塔模块、Transformer融合器模块、特征注入模块和多约束模块；将粗标定后匹配的激光雷达点云与相机图像输入到多约束Transformer深度网络中进行精标定，最后引入迭代优化策略，得到精确鲁棒的六自由度外参，进一步提高标定结果的精度和鲁棒性。

主权项：1.基于Transformer的特征级相机-激光雷达在线标定方法，其特征在于,包括如下步骤:S1，粗标定：利用手眼估计器对相机和激光雷达进行粗标定，通过估计的初始六自由度外参将激光雷达原始点云投影到图像上，得到粗标定后匹配的激光雷达点云与相机图像；S2，构建多约束Transformer深度网络模型：将步骤S1粗标定后匹配的激光雷达点云与相机图像输入到模型中，输出预测后更精准的六自由度外参；所述多约束Transformer深度网络模型包括Token金字塔模块、Transformer融合器模块、特征注入模块和多约束模块，其中，所述Token金字塔模块：以粗标定后匹配的激光雷达点云与相机图像作为输入，生成Token金字塔，获得局部特征；所述Transformer融合器模块：用作多模态融合，以Token金字塔模块输出的局部特征为输入，利用其自注意力机制将相机图像和激光雷达点云的全局上下文结合起来，提供全局特征；所述特征注入模块：将Transformer融合器模块输出的全局特征注入相应尺度的局部tokens中，进行特征增强；所述多约束模块：将六自由度外参全局约束、深度投影约束、语义边缘约束进行加权构建多约束损失函数，用于网络模型训练；S3，迭代优化：将步骤S2预测后的六自由度外参反馈到步骤S1中，重新将激光雷达点云投影到图像上，获得匹配度更高的激光雷达点云与相机图像，重复步骤S2，迭代优化后得到最终精确的六自由度外参。

全文数据：

权利要求：

百度查询： 东南大学 基于Transformer的特征级相机-激光雷达在线标定方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD