申请/专利权人：合肥工业大学

申请日：2024-04-23

公开（公告）日：2024-06-28

公开（公告）号：CN118254180A

主分类号：B25J9/16

分类号：B25J9/16;B25J19/00

优先权：

专利状态码：在审-公开

法律状态：2024.06.28#公开

摘要：本发明公开了一种电气柜旋钮开关位姿检测及操作方法，属于机器人机械臂控制技术领域。该方法包括：引入YOLOv8关键点检测算法，构建得到关键点检测模型；采集目标开关图像，通过检测模型获取关键点像素坐标；计算夹爪位置，驱动机械臂对目标旋钮进行操作。本发明使机器人机械臂更为精确地操作电气柜旋钮开关。本发明采用基于YOLOv8关键点检测算法的旋钮开关位姿检测方法，识别过程要求低，简单快速，但依旧保持准确率高的优点，能有效识别不同旋转角度下的旋钮开关操作手柄，满足机器人机械臂操作电气柜旋钮开关的需求。

主权项：1.一种电气柜旋钮开关位姿检测及操作方法，该方法涉及的系统包括机器人和电气柜；所述电气柜的操作面板上装有旋钮开关，所述旋钮开关为多档位自锁旋钮开关，该旋钮开关的操作手柄的一端标有指示箭头；所述机器人包括6自由度机械臂、末端执行器和深度相机，所述6自由度机械臂包括6个旋转关节和机械臂基座，所述6个旋转关节由机械臂基座开始依次为旋转关节一、旋转关节二、旋转关节三、旋转关节四、旋转关节五、旋转关节六，且该六个旋转关节依次分别绕第一关节轴、第二关节轴、第三关节轴、第四关节轴、第五关节轴、第六关节轴旋转，其中，第四关节轴和第五关节轴相互垂直，第五关节轴和第六关节轴相互垂直；所述末端执行器和深度相机均安装在6自由度机械臂的末端上，且深度相机的光轴与第六关节轴平行，深度相机跟随6自由度机械臂运动；所述末端执行器为二指平行夹爪，安装在机械臂旋转关节六上；定义二指平行夹爪末端中心点即为机械臂末端；其特征在于，所述检测及操作方法包括以下步骤：步骤1，构建旋钮开关的关键点检测模型；利用所述深度相机拍摄N张旋钮开关的图像，并用labelme标注软件对采集图像进行标注，得到旋钮开关操作手柄的三个关键点，分别记为箭头关键点h、中心关键点m和尾部关键点t；在标注完成的图像中选取K张作为训练集，剩余N-K张作为测试集，K＜N；标注完成后得到标注文件，将其与被标注的图片一起用YOLOv8关键点检测算法进行训练，得到关键点检测模型；步骤2，拍摄目标图像，并进行旋钮开关当前档位的确认；步骤2.1，机器人移动到电气柜的旋钮开关所在区域前，驱动6自由度机械臂展开，展开后保持深度相机光轴与电气柜操作面垂直、深度相机镜头所在平面与电气柜操作面平行，此时末端执行器二指平行夹爪也与电气柜操作面垂直；然后使用深度相机对旋钮开关所在区域进行拍摄，且在拍摄过程中旋钮开关均位于图像的中心位置，记拍摄得到的图像为目标图像，该目标图像左上角的像素点在目标图像的像素坐标系下的像素坐标为0，0；利用关键点检测模型对目标图像进行检测，具体的，关键点检测模型通过一个检测框1将目标图像中的旋钮开关操作手柄框选出来，该检测框1在目标图像的像素坐标系下的宽度为w、高度为检测框1左上角的像素坐标为ur，vr；通过该检测框1得到目标图像的箭头关键点h、中心关键点m和尾部关键点t在目标图像的像素坐标系下的像素坐标，分别记为箭头关键点坐标uh，vh、中心关键点坐标um，vm和尾部关键点坐标ut，vt，另外还得到中心关键点m的深度信息，并记为深度dm；步骤2.2，根据检测框及目标图像的三个关键点的信息，按照给定的确认准则对旋钮开关当前档位进行判断：若旋钮开关当前档位与期望档位不同，进入步骤3；若旋钮开关当前档位与期望档位相同，结束本次操作；步骤3，定义机械臂末端坐标系相对于机械臂末端执行器坐标系的位姿变换矩阵机械臂末端执行器相对于机械臂基底坐标系的位姿变换矩阵和相机坐标系相对于机械臂末端坐标系的位姿变换矩阵然后使用相机标定算法对深度相机进行相机标定，得到深度相机的内参矩阵M；根据目标图像的中心关键点坐标um，vm和深度信息dm，通过标定出的内参矩阵M，计算得到相机坐标系相对于机械臂末端坐标系的位姿变换PC，记中心关键点m相对于机械臂基底坐标系的位置为位置PB，其表达式如下： 式中，PC’为4×1矩阵，将位置PB在机械臂基底坐标系的坐标记为xp，yp，zp，该坐标xp，yp，zp即为目标图像中心关键点m在机械臂基底坐标系下的坐标；步骤4，定义P0点为机械臂二指平行夹爪末端中心点沿机械臂第六关节轴远离电气柜操作面方向，距离旋钮开关操作手柄中心关键点m直线距离为dm0处，修改步骤3中位姿变换PC公式中的dm为dm0，得到机械臂基底坐标系下P0点的位置坐标，记为xp0，yp0，zp0；控制机械臂，使得二指平行夹爪末端中心点到达P0点，此时的机械臂姿态记为Z0；步骤5，将获取到的箭头关键点h、中心关键点m和尾部关键点t用最小二乘法拟合成一条直线，记该拟合直线的斜率为k，截距为b，该拟合直线与图像U轴正方向的夹角为θl；步骤6，将二指平行夹爪旋转至与图像U轴正方向夹角为θ1处；定义P1点为机械臂二指平行夹爪末端中心点沿机械臂第六关节轴靠近电气柜操作面方向，距离P0点直线距离为dm1处，修改步骤3中位姿变换PC公式中的dm为dm1，得到机械臂基底坐标系下P1点的位置坐标，记为xp1，yp1，zp1；控制机械臂，使得二指平行夹爪末端中心点到达P1点；到达目标位置后收紧二指平行夹爪，即夹住旋钮开关的操作手柄；步骤7，记旋钮开关期望档位的操作手柄与图像U轴正方向的夹角为θi，且0≤θi＜π，若θ1-θi＞0，则控制二指平行夹爪将旋钮开关操作手柄向顺时针方向旋转|θ1-θi|，若θ1-θi＜0，则控制二指平行夹爪将旋钮开关操作手柄向逆时针方向旋转|θ1-θi|，然后松开夹爪，再将机械臂恢复至步骤4所述的机械臂姿态Z0；步骤8，使用深度相机对旋转后的旋钮开关所在区域进行拍摄，将该图像记为检验图像；将检验图像用步骤1所述关键点检测模型进行检测，得到检验图像中的旋钮开关所在位置的检测框2，该检测框2在检验图像的像素坐标系下的宽度为w2、高度为检测框2左上角的像素坐标为ur2，vr2；通过该检测框2得到检验图像的箭头关键点h2、中心关键点m2和尾部关键点t2在检验图像的像素坐标系下的像素坐标，分别记为uh2，vh2、um2，vm2和ut2，vt2；步骤9，根据步骤8所得的检测框2和检验图像的三个关键点的信息，按照步骤2.2所述的确认准则对旋转后的档位状态判断，若此时旋钮开关的档位状态与期望的档位状态一致，则认为对旋钮开关的期望操作完成，否则重新进行步骤2至步骤9的操作。

全文数据：

权利要求：

百度查询： 合肥工业大学 一种电气柜旋钮开关位姿检测及操作方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD