买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：贵州大学

摘要：本发明公开了一种基于Transformer和CNN双骨干的桥梁结构表面裂缝检测方法，该方法结合卷积神经网络CNN和Transformer的双骨干结构，用于同时捕获裂缝图像的局部特征和全局特征；以及设计了一个特征融合模块，该模块能够将CNN和Transformer捕获的特征进行融合，以获取更丰富的语义特征；以及在CNN分支中采用动态蛇形卷积，并设计了特征增强模块；以及利用聚焦的线性注意力优化了Transformer结构，将原本的平方级复杂度优化为线性复杂度。该方法有效地提高了模型抵抗图像噪声干扰的性能，并且降低了Transformer处理过程中因损失局部细节而造成的细粒度裂缝检测精度下降。

主权项：1.一种基于Transformer和CNN双骨干的桥梁结构表面裂缝检测方法，其特征在于，该方法包括以下步骤：步骤1：利用相机采集桥梁裂缝图像，并对图像进行剪切，然后对所有剪切完成后的图像进行像素级标记，将所有标记完成的图像分为桥梁表面裂缝检测模型的训练集和验证集；步骤2：将训练集中的图像输入桥梁表面裂缝检测模型，模型利用两个不同的特征提取分支分别提取两种不同的特征，即：利用CNN提取裂缝的局部特征、利用Transformer提取裂缝的全局特征；步骤3：将步骤2捕获的两种特征通过一个特征融合模块进行特征融合，从而获取鲁棒的裂缝特征；步骤4：将融合后的特征图像输入一个带有跳跃连接的解码器，将图像的分辨率恢复并输出分割后的裂缝图像，利用输出图像计算模型损失并更新模型的参数；步骤5：将验证集中的图像输入模型并计算裂缝分割的精度；步骤6：反复通过步骤2、步骤3、步骤4、步骤5更新模型参数并验证模型的检测能力，最后取步骤5中的精度达到最大值时的模型参数作为模型最终的训练结果；步骤2包括步骤2.3；在步骤2.3中Transformer分支使用重叠补丁嵌入方法和位置编码生成器来生成一维的图像序列；以及步骤2包括步骤2.4，在步骤2.4中利用CPVT中提出的位置编码生成器来生成位置编码；步骤4中使用的损失函数包括样本标签和预测结果，以及用于调节样本在损失函数中所占比重的超参数；包括：将融合后的特征图像输入一个带有跳跃连接的解码器，将图像的分辨率恢复并输出分割后的裂缝图像，利用输出图像计算模型损失并更新模型的参数；单个特征损失函数定义为： ， ， ，其中，和分别表示样本标签和预测结果，γ是用于调节样本在损失函数中所占比重的超参数，将其设置为2；然后，基于深监督方法，分别对特征融合模块的4个输出和最终结果计算了损失函数；具体是将特征融合模块的损失作为辅助损失，以增强模型的训练性能，并对这四个模块的输出进行有针对性的训练，以获得更鲁棒的裂缝特征；其具体定义为： ，其中，表示辅助损失，表示最终输出的损失。

全文数据：

权利要求：

百度查询： 贵州大学 基于Transformer和CNN双骨干的桥梁结构表面裂缝检测方法