买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉纺织大学

摘要：本发明公开了一种基于双交叉注意力网络的透明物体深度补全方法，旨在解决透明物体在工业生产和日常生活中广泛应用所带来的深度感知问题。该方法搭建了一个基于双交叉注意力的透明物体深度补全网络模型，该模型是基于U‑Net网络的改进，并以RGB图像和初始深度图为输入，最终生成更精细化的补全深度图。在模型设计中，引入了双交叉注意力模块和谱残差块模块，以提取特征并稳定特征传递，有效解决了语义差距和训练过程中的稳定性问题。同时，采用均方误差损失和表面平滑损失构建综合损失函数，以应对模型过拟合问题。与现有方法相比，本方法在定量评价和定性分析中均表现优异，充分证明了该方法的创新性、实用性和广泛的应用前景。

主权项：1.一种基于双交叉注意力网络的透明物体深度补全方法，其特征在于，包括如下步骤：步骤S1，获取透明物体不完整的初始深度图作为模型的输入数据；步骤S2，构建一个基于双交叉注意力的透明物体深度补全网络模型TCAD，所述网络基于Encoder-Decoder结构，具体包括如下子步骤：2a采用多个特征提取与融合模块DCME构成编码器，每层编码器阶段通过卷积、下采样操作提取不同尺度的输入图像特征，并将提取的多尺度特征通过双交叉注意力模块送到解码器中；所述特征提取与融合模块包括依次连接的卷积操作、批量归一化和ReLU激活函数、有序空间聚合模块，以及批量归一化和ReLU激活函数，所述有序空间聚合模块OSA通过将来自不同卷积层的特征图按照一定的顺序进行聚合，并使用加权求和将它们结合起来，达到对特征的深度聚合；所述双交叉注意力模块包括基于多尺度编码器补丁嵌入模块、通道交叉注意力CCA和空间交叉注意力SCA模块；2b采用多个深度完成模块UDCD构成解码器，解码器通过上采样操作恢复双交叉注意力模块处理后的特征图的分辨率，最终输出与原始输入相同分辨率的精细化补全深度图；所述深度完成模块包括依次连接的卷积操作、批量归一化和ReLU激活函数、有序空间聚合模块，以及上采样操作；步骤S3，通过谱残差块模块连接编码器和解码器；谱残差块模块包括卷积层、谱归一化层、ReLU激活函数和残差连接；步骤S4，采用均方误差MSE损失和平滑损失构建综合损失函数，并限制预测的深度值在一定阈值范围内；步骤S5，利用现有数据集对上述模型进行训练，并在模型训练过程中通过优化模型参数最小化损失函数；步骤S6，利用训练好的模型实现透明物体深度补全。

全文数据：

权利要求：

百度查询： 武汉纺织大学 一种基于双交叉注意力网络的透明物体深度补全方法