买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海工程技术大学

摘要：本发明涉及一种机场道面缺陷检测与状态评估方法，包括以下步骤：S1：确定目标机场道面范围，获取目标机场道面视频，获取视频帧图像；S2：将所有视频帧图像输入深度估计网络，获取所有视频帧图像对应的深度图；S3：将所有视频帧图像拼接为全尺寸道面RGB图，将深度图拼接成全尺寸道面深度图；S4：将全尺寸道面RGB图和全尺寸道面深度图分别处理为局部RGB图和局部灰度图，并输入语义分割网络，获取分割结果掩码图；S5：将分割结果掩码图拼接为全尺寸缺陷掩码图，并结合全尺寸道面深度图，判断目标机场道面不同缺陷的严重程度，再根据路面状况指数对道面质量状况进行评估。与现有技术相比，该发明能够实现对机场道面状况高效且准确的评估。

主权项：1.一种机场道面缺陷检测与状态评估方法，其特征在于，包括以下步骤：S1：确定目标机场道面范围，获取目标机场道面视频，并抽取视频帧，获取视频帧图像；S2：将S1获取的所有视频帧图像依次输入深度估计网络，获取所有视频帧图像各自对应的深度图；S3：将S1获取的所有视频帧图像拼接为全尺寸道面RGB图，将S2获取的深度图拼接成全尺寸道面深度图；S4：将S3获取的全尺寸道面RGB图和全尺寸道面深度图分别处理为局部RGB图和局部灰度图，并输入语义分割网络，获取分割结果掩码图；S5：将S4获取的分割结果掩码图拼接为全尺寸缺陷掩码图，并结合S3获取的全尺寸道面深度图，判断目标机场道面不同缺陷的严重程度，再根据路面状况指数对道面质量状况进行评估；S2中所述深度估计网络采用基于PackNet的单目无监督深度估计网络，所述单目无监督深度估计网络包括用以生成2D图像深度信息的PackNet网络分支和用以生成相邻视频帧图像之间位姿信息的PoseConvnet网络分支；其中，PackNet网络包括编码-解码结构，采用packing和unpacking代替传统的上采样和下采样操作；在编码部分，采用残差块代替普通的卷积层，残差块之间使用packing实现下采样运算，每经过一次下采样运算，特征图的大小缩小一倍；在解码部分，卷积块之间采用unpacking实现上采样运算，每经过一次上采样运算，特征图的大小会放大一倍，最后生成与原图长宽相同的深度信息图；S2.1：将d时刻的视频帧图像Id输入至PackNet网络分支，生成Id的初始深度图，将s时刻和d时刻的视频帧图像Is和Id输入到PoseConvNet网络分支，生成s时刻和d时刻的视频帧图像之间的位姿信息；具体地，位姿信息包括旋转矩阵R和平移向量t；S2.2：根据S2.1获取的Id的初始深度图、s时刻和d时刻的视频帧图像之间的位姿信息以及s时刻的视频帧图像Is，获取d时刻的重构图片数据S2.3：根据S2.2获取的d时刻的重构图片数据和d时刻的视频帧图像Id计算PackNet网络分支的Loss函数，根据平移向量td-＞s、单目相机在d时刻的瞬时速度v以及s时刻和d时刻之间的时间差Δtd-＞s获取PoseConvNet网络分支的Loss函数，使得深度估计网络自行更新迭代，生成d时刻的视频帧图像对应的深度图；具体地，td-＞s为平移向量t在s时刻的视频帧图像Is和d时刻视频帧图像Id的之间的平移向量；具体地，描述PackNet网络分支的Loss函数的公式具体为： 式中，为d时刻视频帧图像Id和d时刻的重构图片数据之间的结构相似度，a为超参数，取值在0到1之间，为d时刻视频帧图像Id和d时刻的重构图片数据之间的差值的模，为PackNet网络分支的Loss函数；具体地，描述PoseConvNet网络分支的Loss函数的公式具体为：Lvtd-＞s,v＝||td-＞s||-|v||Δtd-＞s|式中，||td-＞s||为d时刻视频帧图像Id和s时刻视频帧图像Is之间的平移向量的模，|v|为单目相机在d时刻的瞬时速度的模，|Δtd-＞s|为d时刻和s时刻之间的时间差的模；S2.4：重复S2.1～S2.3，获取所有视频帧图像对应的深度图；S4中语义分割网络采用特征层融合的U-Net语义分割网络，该网络包括编码器和解码器，网络的输入为处理后的RGB图和对应的深度图，网络的输出为分割结果掩码图；具体地，编码器包括RGB编码器和深度编码器，RGB编码器和深度编码器均包括多个编码层，每个编码层包括一个卷积层、一个池化层和一个激活层，每经过一个编码层的卷积层，特征图的长宽减半、通道数翻倍；解码器包括多个解码层，每个解码层均包括一个卷积层、一个上采样层、一个激活层，每经过一个解码层的卷积层，特征图的长宽翻倍、通道数减半；RGB编码器和深度编码器均包括四个编码层，解码器包括三个解码层；将全尺寸道面RGB图和全尺寸道面深度图分别处理为1024*512*3的局部RGB图和1024*512*1的局部灰度图，S4具体包括以下步骤：S4.1：将S3获取的全尺寸道面RGB图和全尺寸道面深度图分别处理为多个1024*512*3的局部RGB图和1024*512*1的局部灰度图；S4.2：将处理后的局部RGB图和局部灰度图分别进行1*1卷积，获取两个形状均为1024*512*16的第一RGB特征图和第一深度特征图；S4.3：将第一RGB特征图输入RGB编码器中，获取第二RGB特征图组，将第一深度特征图输入深度编码器中，获取第二深度特征图组；具体地，当第一RGB特征图输入RGB编码器中，每经过一层编码层，得到一张第二RGB特征图，由于设有四个编码层，因此第二RGB特征图组中有四张第二RGB特征图；对应地，第二深度特征图组中也有四张第二深度特征图；且第二RGB特征图组和第二深度特征图组的各特征图尺寸对应相等；两个特征图组中的各特征图由输入到输出的尺寸大小依次为：512*256*32、256*128*64、128*64*128、64*32*256；S4.4：将S4.3获取的两个特征图组中相同尺寸的特征图进行通道维度的拼接，获取4个拼接特征图，拼接特征图的形状分别为512*256*64、256*128*128、128*64*256、64*32*512；S4.5：将S4.4中尺寸最小的拼接特征图作为解码器的输入，并结合S4.4中其余的拼接特征图，由解码器进行解码并输出，获取第三特征图；具体地，将尺寸大小为64*32*512的拼接特征图输入解码器，在第一层解码层时，尺寸大小为64*32*512的拼接特征图和尺寸大小为128*64*256的拼接特征图经解码层处理为尺寸大小为128*64*512的特征图，而尺寸大小为128*64*512的特征图结合尺寸大小为256*128*128的特征图经过第二层解码层处理为尺寸大小为256*128*256的特征图，尺寸大小为256*128*256的特征图结合尺寸大小为512*256*64的特征图经过第三层解码层处理最终获取尺寸大小为512*256*128的第三特征图；S4.6：将第三特征图进行两次卷积操作，获取尺寸为1024*512*1的不同种类缺陷分割结果掩码图；为保证不同模态的特征融合，将RGB图及其对应的深度图分别输入不同的编码器，称作RGB编码器和深度编码器，并将两个分支在不同阶段的特征图，进行通道维度的拼接；且为保证不同尺度的特征融合，编码输出的特征图尺寸需和解码输出的特征图尺寸保持一致，并将两个特征图进行通道维度的拼接。

全文数据：

权利要求：

百度查询： 上海工程技术大学 一种机场道面缺陷检测与状态评估方法