买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国矿业大学

摘要：本发明涉及三维场景感知技术领域，具体涉及一种矿井辅助运输车辆无人驾驶的单目深度估计方法,包括：对当前帧图像进行深度估计，获得深度图；将深度图、当前帧图像以及上下多帧图像输入至多帧位姿优化模块中获得相机相对位姿变化T0→final；结合T0→final和深度图进行图像重建，得到由当前帧图像投影到上下多帧视角的投影图像；计算光度重投影损失函数和次要损失函数，得到总损失，并进行多次学习迭代得到训练完成的深度估计网络模型；将单张图像作为训练完成的深度估计网络模型的输入，经模型预测后得到图像深度估计结果。本发明通过多帧位姿优化模块缓解了位姿估计不准确的问题，降低了矿井场景的影响，大幅提高了深度估计的精度。

主权项：1.一种矿井辅助运输车辆无人驾驶的单目深度估计方法，基于矿井辅助运输车辆无人驾驶的单目深度估计系统实现，其特征在于，所述矿井辅助运输车辆无人驾驶的单目深度估计系统包括深度网络模型和多帧位姿优化模块；所述深度网络模型包括编码器、全局注意力模块和特征融合加权解码模块；所述全局注意力模块包括通道注意力模块和空间注意力模块；所述特征融合加权解码模块包括解码器和预测头；编码器、全局注意力模块、解码器以及预测头用于依次对目标图像进行处理得到预测深度图像，多帧位姿优化模块用于结合目标图像、预测深度图像以及源图像进行图像重建和损失优化处理，以得到图像深度估计结果；所述矿井辅助运输车辆无人驾驶的单目深度估计方法包括以下步骤：步骤S1：获取视频序列中的当前帧图像，并将当前帧图像输入至深度估计网络模型中进行深度估计，获得当前帧图像的深度图；步骤S2：将深度图、当前帧图像以及视频序列中的上下多帧图像输入至多帧位姿优化模块中获得最终经过优化的相机相对位姿变化T0→final；具体方法为：步骤S2-1：预测源图像Is与目标图像I0间的中间相机位姿T0→s；并重建由中间位姿扭曲得到的投影图像I's；具体内容为：将目标图像I0、其前后两帧图像序列Is,s∈{-2,-1,1,2}与经过深度估计网络输出的深度图D0按时间序列成对输入到多帧位姿优化模块中，依次得到每对图像间的相对位姿，并经过变换运算得到目标图像到其前后帧图像的相机相对位姿T0→s；运算公式为：Tt→t'＝InvertTt'→t；Tt→t”＝Tt→t'×Tt'→t”；其中，Invert.代表反转刚体变换的运算；符号×代表矩阵乘法；t,t',t”指代图像序号；最后，将结合相对位姿与目标图像通过重投影扭曲运算，可得到中间重投影图像I's；步骤S2-2：预测由中间重投影图像I's与目标图像I0间的残余位姿T'0→s，并与第一阶段的相机相对位姿T'0→s结合，输出最后得到的相机位姿T0→final；具体方法为：依次将中间重投影图像与目标图像成对输入到同一个位姿估计网络中得到每对图像间的相对位姿，再通过纵向迭代将其变换成目标图像到源图像的残余相对位姿，最后，将残余相对位姿结合第一阶段估计的中间位姿输出优化的相机相对位姿T0→final；步骤S3：将T0→final和深度图作为计算依据进行图像重建，得到由当前帧图像投影到上下多帧视角的投影图像；步骤S4：计算光度重投影损失函数和次要损失函数，得到总损失，并进行多次学习迭代得到训练完成的深度估计网络模型；步骤S5：将单张图像作为训练完成的深度估计网络模型的输入，经模型预测后得到图像深度估计结果。

全文数据：

权利要求：

百度查询： 中国矿业大学 一种矿井辅助运输车辆无人驾驶的单目深度估计系统及方法