买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：本发明公开一种基于深度学习的激光焊接焊缝特征点识别方法及装置，识别方法包括：从采样图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量；把特征点在采样的图像中的坐标以及激光入射角参考向量发送给机器人控制系统；机器人控制系统执行空间映射、轨迹规划操作，把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量输出给机器人后控制机器人运动。通过YOLOv4实现对焊缝类型进行分类并识别焊缝轮廓特征点位置，进而计算出激光入射角参考向量，在三维异形焊缝的焊缝跟踪过程中具有较高的识别和分类准确率以及较高的鲁棒性。

主权项：1.基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：包括：将线激光传感器和激光焊接头同轴安装于机器人末端执行器上，在焊接过程中激光焊接头和线激光传感器保持刚性的空间关系，且激光焊接头的焊接焦点与线激光传感器的采样区域相差一定距离，该一定距离为前置距离；从线激光传感器采样的图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量；其中所谓激光入射角参考向量指激光投射向量在线激光采样平面的投影向量，所述线激光采样平面具体指线激光传感器投影的激光光幕；把特征点在采样的图像中的坐标以及激光入射角参考向量发送给机器人控制系统；机器人控制系统执行空间映射、轨迹规划操作，把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量输出给机器人后控制机器人运动；从线激光传感器采样的图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量，具体包括以下步骤：步骤1：首先进行模型训练：采样图像制作数据集，对YOLOv4网络进行训练；步骤2：利用训练完成的YOLOv4模型识别当前焊缝类型和轮廓特征点图像坐标，获得本次采样的轮廓类型以及轮廓特征点坐标；步骤3：求解焊缝特征点处的激光输入角参考向量；其中，所述步骤1进行模型训练具体包括：步骤11：通过线激光传感器采样内角接、外角接、对接和搭接四类焊缝轮廓图像；步骤12：使用LabelImg标注特征点的位置以及焊缝轮廓的类型；步骤13：采用YOLOv4模型中的Mosaic算法，进行数据扩充；步骤14：把数据集分为训练集、测试集和验证集后进行模型训练；所述步骤2获取轮廓特征点坐标具体包括：利用训练完成的YOLOv4模型输出目标边界框，计算目标边界框中图像的灰度重心，并将其取代亚像素角点作为焊缝特征点输出；所述步骤3求解焊缝特征点处的激光输入角参考向量具体包括：步骤31：对图像采用形态学运算，实现对图像的滤波并分割图片中的焊缝轮廓和线激光传感器投射激光造成的大块反射干扰影像；步骤32：对图像二值化，计算图像中所有影像轮廓的面积，设置轮廓面积下限和上限阈值，去除面积超出阈值的图像轮廓，对于面积较大且在面积阈值内的图像轮廓，计算轮图像轮廓积与其所处最小包容矩形面积比，大于一定值判断为反光干扰，最后选出剩余轮廓中面积最大的图像轮廓判断为焊缝；步骤33：提取单像素轮廓线；步骤34：根据YOLOv4对焊缝类型分类的结果，采用针对性的姿态计算方法计算求解焊缝特征点处的激光输入角参考向量；所述步骤34具体包括：A、内角接及外角接姿态计算：计算单像素轮廓线上距YOLOv4所求特征点最近的一点P，以P点为分割点对轮廓线进行分割，把轮廓分为左轮廓和右轮廓；对左右轮廓各进行直线拟合，其中靠近特征点处的点赋予更高的拟合权重；其中特征点左侧直线方程为A1x+B1y＝C1，若A1≠0，取A1＞0，若A1＝0，取B1＝-1，则该直线的方向向量取右侧直线方程为A2x+B2y＝C2，若A2≠0，取A2＞0，若A2＝0，取B2＝1，则该直线的方向向量取则参考向量为B、拼接及搭接计算：细化后，使靠近特征点处的点具有更高的拟合权重，像轮廓点使用最小二乘法拟合直线Ax+By＝C，若B≠0，取B＜0，则

全文数据：

权利要求：

百度查询： 厦门大学 基于深度学习的激光焊接焊缝特征点识别方法及装置