买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：盐城工学院;盐城工学院技术转移中心有限公司

摘要：本发明公开了一种基于手眼系统的电气柜装配质量检测方法及系统，检测方法为：标注电气柜内部元器件图像数据集样本的类别与位置；基于RT‑DETR网络模型架构，构建PAD‑DETR目标检测网络模型；将图像数据集数据传入基于RT‑DETR改进的PAD‑DETR网络中进行机器学习，获取收敛训练后的目标检测模型；建立电气柜内部元件类型的模板，依据待文字识别的类型文字区域与模板区域的相对位置，建立仿射变换矩阵；建立机械臂采集图像的移动路径；相机将采集的图像传回计算机，对内部电气元件位置定位；对裁剪的区域进行文字识别。本发明解决了传统依靠相机视野的采集方式出现漏检，目标检测方式难以准确定位特殊位置并识别的问题。

主权项：1.一种基于手眼系统的电气柜装配质量检测方法，其特征在于：包括以下步骤：步骤1，获取电气柜内部元器件图像数据集样本，并采用Labelimg标注类别与位置；步骤2，基于RT-DETR网络模型架构，构建PAD-DETR目标检测网络模型；过程为：2.1将RT-DETR网络模型中的主干网络中的残差模块的3×3卷积部分，采用具有残差连接的重参数部分卷积块RepN-PConvBlock替代；过程为：2.1.1在模型训练阶段，将RepN-PConvBlock的连接批归一化层的3×3的部分卷积PConv，以及连接批归一化层的1×1卷积叠加，再经过ReLu激活函数输出；2.1.2在模型预测阶段，利用公式1,将卷积层和批归一化BN层融合： 其中，BNConvx为融合后的卷积；γ为比例因子；x为输出；mean为平均值；为标准差；β为偏置；2.1.3将1×1卷积的空白处补零，扩充成3×3；2.1.4利用公式2,在水平方向合并3×3的部分卷积和1×1的普通卷积，转化为RepN-PConvBlock结构，并输出卷积表达式y：y＝w1+w2X+b1+b2⑵；w1为已合并了BN层之后的3×3部分卷积PConv的权重；w2为已合并了BN层之后的1×1卷积的权重；b1为已合并了BN层之后的3×3部分卷积PConv的偏置；b2为已合并了BN层之后的1×1卷积的偏置；2.2在主干网络中添加CA注意力机制；2.3在RT-DETR的跨尺度特征融合模块CCFM中，将RepC3中的RepBlocks替换为多组并行的膨胀卷积；过程为：2.3.1在训练阶段，将膨胀因子为1的5×5膨胀卷积，膨胀因子为2的3×3膨胀卷积和膨胀因子为3的3×3膨胀卷积并行连接；每个膨胀卷积的卷积核的大小由公式3获得：K＝k+k-1r-13其中，k表示原始卷积核大小，r为膨胀因子的值，K表示实际卷积核大小；2.3.2在每个膨胀卷积后，引入一个批归一化层替换原来网络中的RepC3模块；2.3.3在网络预测阶段，针对每个并行的膨胀卷积和相应的批归一化层，利用公式1合并，得到一个新的卷积；2.3.4以实际卷积核尺寸最大的膨胀卷积为基础，对其它膨胀卷积的实际卷积核大小不足最大卷积的部分进行四周填充零值，至每个膨胀卷积的实际卷积核大小一致；将3组经过合并填充处理的并行卷积利用公式4整合为一个7×7的普通卷积；y＝w1+w2+w3X+b1+b2+b34w1,w2,w3代表三组已经通过批归一化BN层合并的膨胀卷积的权重，b1,b2,b3代表这三组膨胀卷积合并后的偏置。步骤3，将图像数据集的数据传入基于RT-DETR改进的PAD-DETR网络中，进行机器学习，获取一个收敛训练后的目标检测模型；步骤4，建立电气柜内部元件类型的模板，依据待文字识别的类型文字区域与模板区域的相对位置，建立仿射变换矩阵；步骤5，建立机械臂采集图像的移动路径，过程为：5.1建立电气柜内部电气元件的二维尺寸图；5.2依据相机采集视野以及二维尺寸图，通过遍历对比电气元器件件的尺寸与相机采集视野的尺寸，计算采集点位置；5.3将计算的采集点连接生成采集路径，六轴机械手通过相机沿所述采集路径采集内部元器件；6将采集路径上电气柜内部元件的型号数据录入数据库中；7将待检测的电气柜放在输送线上，由光电传感器控制输送线将电气柜输送至指定位置；8当电气柜移动到指定位置，触发光电传感器发送信号至机械臂，机械臂沿设定的离线编程路径采集内部元器件的图像；9相机将采集的图像传回计算机，对内部电气元件型号位置定位；定位过程为：9.1将采集的图像输入步骤3中已预训练的PAD-DETR网络模型中对电气柜内部元器件类型检测，依据检测的类型对图片裁剪，使每张图片含有一个电气元件；9.2将裁剪的图片使用对应的模板匹配，定位已裁剪图片中的厂商的名称；将匹配的模板区域采用仿射变换矩阵进行位置的变换生成矩形框，对矩形框裁剪；10使用Halcon软件对裁剪的区域进行文字识别；10.1将识别的型号文字结果与数据库中的元件型号文字对比；文字一致则表示安装正确，文字不一致则安装错误；11控制器1根据判定的结果控制输送带将安装错误的电气柜移至不合格区；将安装正确的电气柜移至合格区。

全文数据：

权利要求：

百度查询： 盐城工学院 盐城工学院技术转移中心有限公司 一种基于手眼系统的电气柜装配质量检测方法及系统