申请/专利权人：吉林大学

申请日：2024-04-17

公开（公告）日：2024-06-28

公开（公告）号：CN118262116A

主分类号：G06V10/26

分类号：G06V10/26;G06V10/44;G06V10/54;G06N3/0464;G06N3/0455;G06N3/082;G06V10/80

优先权：

专利状态码：在审-公开

法律状态：2024.06.28#公开

摘要：一种桥梁道路病害缺陷分割的识别方法属计算机视觉技术领域，本发明包括：通过选取二次核函数改进自注意力机制，设计核函数注意力模块；将核函数注意力特征分别加入主干特征网络Xception提取的浅层特征和深层特征中；将基于分形的纹理特征接入主干深层特征，作为强化纹理特征提取分支，与结合核函数注意力机制的主干深层特征共同构成双分支特征提取网络，最后将两者进行多尺度逐层融合；通过上述网络进行特征提取并计算损失函数，实现常见桥梁道路病害分割识别。本发明通过在主干特征中加入二次核函数注意力机制，并有效融合提取的纹理信息，使桥梁道路病害缺陷分割识别效果能有明显提升。

主权项：1.一种桥梁道路病害缺陷分割的识别方法，其特征在于包括下列步骤：1获取桥梁道路病害缺陷图像，整理三种常见的：裂缝、坑槽和露筋剥落病害缺陷图像；2选取深度可分离卷积网络Xception为主干特征提取网络，并引出主干特征提取网络的浅层特征和深层特征，选取核函数如下：高斯核函数： 逆二次核函数： 3选取二次核函数改进自注意力机制，设计结合二次核函数的注意力机制新变体，包括下列步骤：选取二次核函数取代自注意力机制中的点积操作，以加入核函数分布先验的相似性度量，代替原注意力机制中的点积相似性度量，并设计基于Epanechnikov核函数的核密度估计判别，通过度量结合核函数注意力机制的特征分布与原特征分布的相似程度，进而实现核函数的先验分布特性对病害缺陷特性提取的效能优化，具体包括：自注意力标准公式为： 根据自注意力机制原理，查询矩阵Q和键矩阵K的之间的相似性或相关性A，通过二者的乘积进行计算，即：A＝QKT；其中：A的第i个元素定义为：Aix＝＜fxq,fxk＞；其中：,为内积运算，f·是表示非线性映射函数；受核函数技术方法的启发，使用核函数再现核希尔伯特空间，并输入向量的点积，将数据从输入空间映射到核空间κ,通过公式借助核函数简化计算:＜fxq,fxk＞＝κxq,xk；其中：,为内积运算，κxq,xk为核函数，进而得到结合核函数计算相关性的公式：Aix＝＜fxq,fxk＞＝κxq,xk；将选择的核函数与注意力机制结合，所得每个特征向量的核函数自注意力公式： 其中：xq为输入的查询特征向量；xk为键值特征向量；v为值函数；kxq,xk为非负核函数表达式；是键值特征向量中每一列特征的长度；设计基于Epanechnikov核函数的核密度估计判别，核密度估计的公式定义为： 其中：n为已知数据的数量；x为待估计量；K为核密度函数；h为窗宽；Epanechnikov核函数矩阵形式的表达式为： 其中：为该坐标系下的变量表示；μj为均值向量；σj为特征向量的协方差矩阵；4将结合核函数注意力模块提取的注意力特征，分别加入到主干特征提取网络的深层特征和浅层特征中；将二次核注意力机制得出的注意力特征，加入到主干特征网络提取的深层特征和浅层特征中，具体包括：4.1使用深度可分离卷积网络Xception作为主干特征提取网络，并引出特征通道数较少的特征张量low_level_features作为浅层特征，特征通道数较多的特征张量x作为深层特征；4.2分别以浅层特征张量low_level_features和深层特征张量x作为步骤3中核函数注意力模块的输入，分别得到浅层特征核函数注意力张量和深层特征核函数注意力特征；4.3将得到的注意力特征分别与对应特征相加，进而得到融合核注意力特征的深层主干特征feature_att1和浅层主干特征feature_att2；5在主干特征提取网络的特征之后，接入分形纹理特征提取模块，对桥梁道路病害缺陷的纹理特征进行提取，并作为单独的纹理特征分支，与加入核函数注意力特征的主干特征并行，构成双分支特征提取网络；将主干特征网络提取的深层特征与分形纹理特征模块结合，作为单独的纹理特征提取分支，具体包括：将特征通道数较多的特征张量x作为深层特征，将步骤4提到的与核函数注意力融合作为一条特征处理分支，将深层特征张量x与基于分形的纹理特征提取模块结合，得到纹理特征feature_texture，作为深层特征单独处理纹理特征的另一条分支，形成并行提取不同特征的双分支结构；6对双分支并行的核函数注意力深层主干特征和分形纹理特征，进行多尺度特征融合；使用多层不同大小的卷积核对步骤5中双分支特征进行融合，具体包括：6.1将经过核函数注意力机制处理的主干特征张量feature_att1和经过核函数注意力机制处理的分形纹理特征张量feature_texture连接起来形成feature_concat,然后使用3x3，5x5，7x7三个不同大小的卷积核，分别对feature_concat进行卷积操作；6.2将调整形状后的feature_1与feature_conv3x3，feature_conv5x5，feature_conv7x7三个卷积结果在通道维度上进行连接，能将提取到的不同尺度的特征与原始特征融合；6.3将上述连接后的特征图通过usion_layer1、fusion_layer2、fusion_layer3的融合层进行融合，得到融合特征feature_fused；融合层先通过一个1x1的卷积层改变输入特征的通道数，再通过批量归一化层对特征进行归一化，最后通过ReLU激活函数增加模型的非线性表达能力，充分利用来自不同尺度的特征信息；使用插值操作对融合后的特征图feat_fused3进行调整得到feature_fused，使最终的特征图与原始输入特征的尺寸匹配；6.4将原始输入特征feature1和融合后的特征feature_fused做加权求和，即：将原始特征与通过多尺度特征融合得到的特征进行融合；7将结合核函数注意力机制的浅层特征与步骤6中的深层主干特征做进一步融合，提升桥梁道路病害缺陷分割的准确度；8计算损失函数，并用梯度下降法更新网络中各层参数，经训练后得到最终的网络模型。

全文数据：

权利要求：

百度查询： 吉林大学 一种桥梁道路病害缺陷分割的识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD