买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开一种基于注意力导向特征融合的自监督单目深度估计方法，本发明在编码器中加入通道自注意力模块用以捕获结构场景中更多的全局上下文信息，进而增强特征表示；在解码器中设计基于空间交叉注意力机制的特征融合模块，将增强的特征作为high‑level的特征来引导low‑level特征进一步校准解码器中的特征，以强调特定的语义信息，增强在非连续区域的特征表示能力；最后，解码器输出连接多层深度估计模块，以监督解码器中间层的结果，提高深度估计的精度，防止粗尺度上的估计误差累积并影响到细尺度上的估计，获得更加准确的深度图。

主权项：1.基于注意力导向特征融合的自监督单目深度估计方法，其特征在于，包括以下步骤：步骤1，使用连续的视频帧或者双目图像作为数据集，将图片调整至同一大小后作为训练集进行数据增广；步骤2，构建基于注意力导向特征融合的自监督单目深度估计框架，包括改进的深度估计网络和位姿估计网络：改进的深度估计网络包括依次连接的编码器和解码器，所述编码器使用ResNet18，编码器的输出端连接解码器，解码器为5层结构，每层包含卷积以及上采样模块，其中第2、3、4、5层依次连接有空间交叉注意力模块以及深度估计模块；所述编码器的输出还连接通道自注意力模块，通道自注意力模块的输出分别与每个空间交叉注意力模块的输入连接；步骤3，设计损失函数，采用数据增广后的训练集和验证集对基于注意力导向特征融合的自监督单目深度估计框架进行训练；步骤4，输入待估计图片，采用训练好改进的深度估计网络对待估计图片进行深度估计输出结果；所述通道自注意力模块中具体操作中，利用矩阵乘法计算输入特征E的特征相似性S，经过Softmax层得到注意力图Ac，最后将注意力图与原特征相乘，并与原特征中每个元素对应求和，得到增强后的特征所述空间交叉注意力特征融合模块对输入的增强特征做如下操作：针对使用临近点插值的方式对其进行上采样到40×128分辨率，并通过1×1卷积转化为query特征：Query＝Qx；针对X使用平均池化的方式也对其进行下采样到40×128分辨率，并使用1×1卷积得到key和value特征：Key＝Kx和Value＝Vx，按矩阵乘法得到空间交叉注意力图最终获取融合特征F。

全文数据：

权利要求：

百度查询： 西北工业大学 基于自注意力导向特征融合的自监督单目深度估计方法