申请/专利权人：西北工业大学

申请日：2021-09-03

公开（公告）日：2024-06-04

公开（公告）号：CN113792721B

主分类号：G06V20/52

分类号：G06V20/52;G06V20/62;G06V10/25;G06V30/14;G06V30/146;G06V30/18;G06V30/19;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.06.04#授权;2021.12.31#实质审查的生效;2021.12.14#公开

摘要：本发明提供了一种基于one‑shot机制的仪表检测方法。首先，利用尺寸变换和透视变换对采集的仪表图像数据集进行增强处理；然后，构建基于one‑shot机制的仪表检测网络模型，包括一个基于ResNet‑18的特征提取孪生网络模块、RPN模块、ROIAlign池化层和基于GridHead交换特征融合网络模块；接着，利用增强后的图像数据集对网络模型进行训练，得到训练好的网络；最后，利用训练好的网络对待检测仪表图像进行处理，得到最终的检测结果。本发明具有检测任意四边形仪表表盘位置的能力，且具有较高的仪表检测精度。

主权项：1.一种基于one-shot机制的仪表检测方法，其特征在于步骤如下：步骤1：对监控设备采集到的每一幅仪表图像分别进行尺寸增强和透视变换增强处理，增强处理前后的图像共同构成仪表图像数据集；对采集到的仪表图像中包含的仪表设备的模板图像进行透视变换增强处理，得到仪表模板图像数据集；步骤2：构建基于one-shot机制的仪表检测网络模型，包括一个基于ResNet-18的特征提取孪生网络模块、RPN模块、ROIAlign池化层和基于GridHead交换特征融合网络模块，其中，将待检测仪表图像和仪表模板图像分别输入到ResNet-18孪生网络模块，输出得到待检测仪表图像特征和仪表模板图像特征；RPN模块对待检测仪表图像特征进行初定位处理，输出得到仪表的矩形包围框坐标；ROIAlign池化层根据仪表的矩形包围框坐标将对应的待检测仪表图像特征池化成同一大小，同时利用全图坐标将仪表模板图像特征也池化成相同大小；将池化后的待检测仪表图像特征和仪表模板图像特征同时输入到基于GridHead交换特征融合网络模块，输出得到待检测仪表的四边形的四个顶点位置的标记信息；所述的基于GridHead交换特征融合网络模块包括一个孪生网络模块、特征交互融合模块和反卷积层，孪生网络模块由8个卷积层构成，对输入的待检测图像特征Fdin和模板图像特征分别进行特征提取，提取后的特征分别记为Fd和Q，特征交互融合模块对提取的特征Fd和Q进行融合处理，具体如下：将特征Fd和Q分别按照通道平均分成M组，与第i个Grid点对应的特征图分别记为Fdi和Qi，与源点集合Si中的第j个点对应的特征图分别记为Fdj和Qj，i＝1，2，...，M，M为Grid点数，j＝1，2，...，Ki，Ki为源点集合Si中包含的源点个数，所述的源点为Grid网格中与第i个Grid点距离为1的点，所有源点构成源点集合；然后，分别对特征图Fdi和Qi进行反卷积处理，得到对应的未融合的heatmap特征图，分别记为hF′和hQ′，分别将特征图Fdj和Qj通过2个卷积核为3*3的卷积层，得到对应的新的待融合特征图，分别记为Td：j→iFdj和Tq：j→iQj，将特征图Qi经过2个卷积核为3*3的卷积层，得到待融合的模板特征，记为Tqd：iQi，将特征图Qj经过2个卷积核为3*3的卷积层，得到待融合的模板特征，记为Tqd：j→iQj，i＝1，2，...，M，j＝1，2，...，Ki；接着，将特征图Fdi、Qi与融合的特征图Td：j→iFdj、Tq：j→iQj、模板特征Tqd：iQi、Tqd：j→iQi分别按下式进行相加融合处理，i＝1，2，...，M，得到融合后的特征图F′di、Q′i： 最后，对特征图F′di、Q′i分别按照下式讲行二次相加融合处理，得到二级融合特征图F″di、Q″i： 其中，T′j→iF′dj表示特征图F′dj通过2个卷积层得到的新的二级待融合特征图，这里的卷积层结构与前面得到特征图Td：j→iFdj中的卷积层结构相同；T′j→iQ′j表示特征图Q′j通过2个卷积层，得到的新的二级待融合特征图，这里的卷积层结构与前面得到特征图Tq：j→iQj中的卷积层结构相同；T′qd：iQi表示特征图Qi通过两个卷积核为3*3的卷积层处理；T′qd：j→iQj表示特征图Qj通过两个卷积核为3*3的卷积层处理；i＝1，2，...，M，j＝1，2，...，Ki；所述的基于GridHead交换特征融合网络模块中的反卷积层由两层反卷积层组成，将融合模块输出的特征图F″di和Q″i分别输入到反卷积层，输出得到最终的融合heatmap特征图；步骤3：以步骤1得到的图像数据集和仪表模板图像数据集中的图像为输入，采用随机梯度下降法对步骤2构建的基于one-shot机制的仪表检测网络模型进行训练，得到训练好的网络模型；其中，网络的损失函数按下式进行计算：Loss＝Lcls+Lreg+Lseg5其中，Loss表示网络的总损失，Lcls表示RPN模块分类损失，Lreg表示RPN模块位置回归损失，Lcls与Lreg与FasterRCNN中的损失一致；Lseg表示GridHead交换特征融合网络模块中Gridheatmap交叉熵损失，按下式计算得到：Lseg＝Lseg末融合+Lseg已融合其中，Lseg未融合表示未融合的heatmap特征图对应的交叉熵损失，Lseg已融合表示最终融合的heatmap特征图的交叉熵损失，分别按以下公式计算得到： 其中，M为Grid点数，N为heatmap特征图的像素个数，tk，t表示第l个Grid点对应的最终融合的heatmap特征图中第k个像素的值，t′k，l表示第l个Grid点对应的未融合的heatmap特征图中第k个像素的值，tk，l和t′k，l取值范围0到1，表示第l个Grid点对应的未融合的heatmap特征图所对应的标签图中第k个像素的值，取值范围0和1，像素为1是表示对应的是预测Grid点区域，像素为0时表示对应的不是预测Grid点区域；步骤4：将待检测的仪表图像和模板仪表图像输入到步骤3训练好的网络模型，输出得到预测的heatmap特征图，按照GridRCNN目标检测网络的方式，将生成的heatmap转换为待检测仪表的四边形顶点位置，具体如下： 其中，Ix，Iy表示待检测仪表在图像中的顶点位置坐标，Px，Py表示RPN模块生成的包围框的顶点位置坐标，Hx，Hy表示最终的heatmap预测点在heatmap特征图中的位置，wp，hp表示RPN模型生成的包围框的宽度和高度，wo，ho表示heatmap的宽度和高度。

全文数据：

权利要求：

百度查询： 西北工业大学 基于one-shot机制的仪表检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD