申请/专利权人：北京理工大学;上海机电工程研究所

申请日：2021-09-07

公开（公告）日：2024-06-28

公开（公告）号：CN113920267B

主分类号：G06T17/10

分类号：G06T17/10;G06T7/73

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2022.01.28#实质审查的生效;2022.01.11#公开

摘要：本发明提供一种三维场景模型构建方法、装置、设备及存储介质，方法包括：获取通过红外收发装置得到的至少两个红外图像；基于所述至少两个红外图像，确定所述红外收发装置的位姿信息；基于所述位姿信息和所述红外图像，构建初始三维场景模型；获取通过雷达得到的雷达数据；基于所述雷达数据，调整所述初始三维场景模型，得到所述三维场景模型。本发明用以解决现有技术中利用红外图像进行三维重建、或融合红外图像和可见光图像进行三维重建导致的缺陷。

主权项：1.一种三维场景模型构建方法，其特征在于，包括：获取通过红外收发装置得到的至少两张红外图像；基于所述至少两张红外图像，确定所述红外收发装置的位姿信息；基于所述位姿信息和所述红外图像，构建初始三维场景模型；获取通过雷达得到的雷达数据；基于所述雷达数据，调整所述初始三维场景模型，得到三维场景模型；所述基于所述至少两张红外图像，确定所述红外收发装置的位姿信息，包括：提取所述至少两张红外图像的特征点；对所述至少两张红外图像中的任意两张红外图像进行所述特征点的匹配操作，得到匹配结果，所述匹配结果包括：目标红外图像集合、特征点集合、以及目标红外图像之间的特征对应关系；基于所述匹配结果，确定所述红外收发装置的所述位姿信息；所述任意两张红外图像包括：第一红外图像和第二红外图像；所述对所述至少两张红外图像中的任意两张红外图像进行所述特征点的匹配操作，得到匹配结果，包括：对所述第一红外图像中的每个特征点执行以下第一匹配过程：计算所述第一红外图像中的特征点与所述第二红外图像中的每个特征点的第一距离；将所述第一距离的最小值对应的所述第二红外图像中的特征点，与所述第一红外图像中的特征点，作为第一初始匹配特征对；对所述第二红外图像中的每个特征点执行以下第二匹配过程：计算所述第二红外图像中的特征点与所述第一红外图像中的每个特征点的第二距离；将所述第二距离的最小值对应的所述第一红外图像中的特征点，与所述第二红外图像中的特征点，作为第二初始匹配特征对；对所述第一初始匹配特征对和所述第二初始匹配特征对执行以下第三匹配过程：当所述第一初始匹配特征对和所述第二初始匹配特征对一致时，将所述第一初始匹配特征对作为匹配特征对；重复执行所述第一匹配过程、所述第二匹配过程和所述第三匹配过程，并整合得到的所述匹配特征对，得到特征点子集合；重复执行所述特征点的匹配操作，并整合所述特征点子集合，得到初始匹配结果，所述初始匹配结果包括：初始特征点集合；基于所述初始匹配结果，得到所述匹配结果；所述基于所述初始匹配结果，得到所述匹配结果，包括：设置第一集合，所述第一集合包括：第一数量的匹配特征对；基于所述初始特征点集合，执行以下调整过程：从所述初始特征点集合中，选择预设数量的匹配特征对，作为预设集合；计算所述初始特征点集合中，每对所述匹配特征对的特征点到预设极线的第三距离；将所述第三距离小于预设距离时对应的第二数量的匹配特征对，作为第二集合；当所述第一数量大于或等于所述第二数量时，所述第一集合不调整；当所述第一数量小于所述第二数量时，将所述第二集合作为所述第一集合；重复执行所述调整过程，得到最终的第一集合，并将所述最终的第一集合作为所述特征点集合；将所述特征点集合对应的红外图像，作为所述目标红外图像集合，并确定所述目标红外图像之间的所述特征对应关系；所述基于所述匹配结果，确定所述红外收发装置的位姿信息，包括：将所述目标红外图像集合划分为至少两个目标红外图像子集合；确定每个所述目标红外图像子集合对应的第一装置参数；基于所述第一装置参数，确定所述红外收发装置的初始位姿信息；确定每张所述目标红外图像对应的第二装置参数；基于所述第二装置参数，调整所述初始位姿信息，得到所述位姿信息；所述基于所述位姿信息和所述红外图像，构建初始三维场景模型，包括：基于所述位姿信息，对所述红外图像的所述特征点进行三角化处理，得到稀疏模型；基于所述稀疏模型和所述特征点，利用深度图融合算法，得到稠密模型；对所述稠密模型进行任意一项或多项修复操作，得到目标三维场景模型，所述修复操作包括：三角网格化、模型空洞检测和模型空洞修复操作；从所述红外图像中提取纹理信息，将所述纹理信息映射到所述目标三维场景模型上，得到所述初始三维场景模型；所述基于所述雷达数据，调整所述初始三维场景模型，得到三维场景模型，包括：基于所述雷达数据，预测所述三维场景模型的预估尺寸信息；获取所述初始三维场景模型的真实尺寸信息；比对所述预估尺寸信息和所述真实尺寸信息，基于比对结果，调整所述初始三维场景模型，得到所述三维场景模型。

全文数据：

权利要求：

百度查询： 北京理工大学;上海机电工程研究所 三维场景模型构建方法、装置、设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD