买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：淮阴工学院

摘要：本发明公开了一种基于BM匹配机械臂控制系统，包括用于发送启动指令的上位机、用于处理并输出控制参数的嵌入式计算机、用于目标物拍摄识别的单目相机、双目相机和机械臂；单目相机安装在机械臂和目标物的正上方，双目相机安装在机械臂附近；单目相机、双目相机和机械臂与嵌入式计算机和上位机信号连接。本发明还公开了基于BM匹配机械臂控制方法，单目视觉通过基于颜色特征检测完成对目标的初步定位，并将信息传输至上位机；利用极线校正算法校正双目视觉摄取的左右图像，使用改进的BM立体匹配算法，完成目标的三维重建；采用五次多项式插值对机械臂进行轨迹规划，完成对目标的抓取。本发明提高机械臂对目标物的抓取速度，降低机械臂的磨损。

主权项：1.一种基于BM匹配机械臂控制方法，其特征在于，包括如下步骤：步骤1：上位机发送开启指令，系统初始化；包括：上位机启动，指令通过5G信号下的局域网实时传送到嵌入式计算机，嵌入式计算机收到指令，将单目和双目相机初始化，输出控制参数至机械臂，使机械臂位姿处于初始状态；包括用于发送启动指令的上位机、用于处理并输出控制参数的嵌入式计算机、用于目标物拍摄识别的单目相机、双目相机和机械臂；所述单目相机安装在机械臂和目标物的正上方，所述双目相机安装在机械臂附近；所述单目相机、双目相机和机械臂与嵌入式计算机和上位机信号连接；所述嵌入式计算机和上位机处于同一局域网下；所述双目相机的光心连线与水平线平行；所述单目相机、双目相机、机械臂通过USB接口连接嵌入式计算机，所述嵌入式计算机至少拥有三个USB接口；步骤2：单目相机获取环境信息，建立全局空间定位模型，实现障碍物的识别和基于颜色特征检测对目标的粗定位，同时将环境信息上传至上位机；单目相机启动，基于颜色特征进行目标检测，将RGB色彩模型转换为HSV色彩模型，对单目相机摄取的图像进行HSV图像阈值分割，将可能的目标与背景分开，对分割后的图像进行腐蚀操作和膨胀操作去噪点，通过目标物的外形区别目标物的轮廓和其他物体；单目相机摄取的周围环境信息通过5G信号下的局域网上传至上位机；其中，目标物的外形包括形状和大小；步骤3：双目摄像头进行图像采集，采集后的图像经过极线校正操作得到在同一水平线上的左右视图，使用改进的BM立体匹配，经过三维重建得到目标的三维坐标；包括：步骤3.1：双目相机获取左右图像：采用bouguet极线校正算法对摄取的左右图像进行校正，该算法是将OPenCV求解出来的旋转和平移矩阵分解成左右相机各旋转一半的旋转和平移矩阵R1,T1与R2,T2；步骤3.2：BM立体匹配：图像中的每个像素点用像素值来表示，在匹配时，左视图中选中目标并作为模式窗口P，选取右视图中同一行所有像素即待匹配像素组T进行匹配；将二维像素组按顺序排列为一维；其中，P共有m个像素，位置记为P[1]，P[2]，…，P[m]，将T与P进行左对齐，然后进行从右向左比较；包括：在匹配过程中需要储存两个右移位置值d1和d2，d1为当像素不匹配时，计算模式窗口P最右端像素对应的像素T[i]的下一次右移位置，d2为计算T[i+1]确定的下一次右移位置，d1和d2的计算规则如下：步骤3.2.1：考察模式窗口P的末像素P[m]与对应的待匹配像素组T[m]是否匹配，若不匹配，则考虑T[m]的下一像素T[m+i]，且利用坏像素规则，求得d1的值；步骤3.2.2：考察像素T[i+m+d1-1]，计算d2的值；若像素T[i+m+d1-1]不在模式窗口P中，则考察其下一像素T[i+m+d1]是否与P[1]相同，若相同，则将模式窗口P右移m+d1位，否则移动m+d1+1位；若像素T[i+m+d1-1]在模式窗口P中，则计算d2的值是否为1：当d2≠1时，将模式窗口P右移d1+d2-1位；当d2＝1时，考察字符T[i+m+d1-1]是否与P[1]相同，若不同，则将模式窗口P右移，使得T[i+m+d1-1]与T[i+m+d1-1]像素的前一位对齐，否则按d2时右移；步骤3.3：目标的三维重建，已知相机焦距f，视差d，光心距离B可求得深度信息Z，深度信息Z的计算公式为： 设在左视图中的目标点为x,y，视差为d，在以左相机坐标系下的目标点世界坐标为X,Y,Z，用Q来表示目标点的物理坐标与世界坐标间的关系，通过下式将图像坐标映射到相机三维空间中；Q*[x,y,d,1]T＝[X,Y,Z,W]T其中，Q为深度视差映射矩阵；x，y分别为目标点在物理坐标中的横坐标和纵坐标；W为转换因子；XW，YW，ZW分别为目标点转换后的世界坐标的横坐标，纵坐标和竖坐标；其中，d＝XL-XR，XL为目标上一点在左相机中成像的图像坐标，XR为同一点在右相机中成像的图像坐标；步骤4：目标位置转化为世界坐标，将坐标转化为机械臂控制参数，驱动机械臂抓取目标；包括：嵌入式计算机根据世界坐标输出机械臂的控制参数，驱动机械臂抓取目标；上述机械臂运动采用五次多项式插值进行机械臂运动轨迹规划，五次多项式插值的角位移、角速度和角加速度的函数表达式为： 增加对起止点角速度的约束t0＝0，得到以下约束条件： 通过解方程得到a0，a2，a3，a4，a5的值。

全文数据：

权利要求：

百度查询： 淮阴工学院 一种基于BM匹配机械臂控制系统和方法