买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明公开了一种基于单双目视觉协同的电网作业人员视差估计及定位方法，包括：1、利用双目相机采集左、右视角下的作业人员图像，并对双目相机进行标定；2、构建自监督单目视差估计模型，设计双目视差一致性损失函数，训练单目视差估计网络，估计单目视差图；3、利用单目视差图对双目视差图进行滤波优化操作；4、对作业人员双目视差图进行检测定位，提取有效的视差像素值，计算作业人员的距离坐标。本发明基于双目视差的一致性，设计了自监督单目视差估计网络，并通过单目视差图来提升双目视差估计性能，从而能降低电网作业人员的背景视差干扰，并能提高作业人员的目标定位精度。

主权项：1.一种基于单双目视觉协同的电网作业人员视差估计及定位方法，其特征在于，是按如下步骤进行：步骤1、利用双目相机分别采集N张左、右视角下的电网作业人员图像，从而得到左视角作业人员图像集合和右视角作业人员图像集合其中，表示第n张左视角作业人员图像，表示第n张右视角作业人员图像，并对双目相机进行标定得到基线距离B和焦距f；步骤2、构建自监督单目视差估计网络，包括：一个基于MiDaS的单目视差估计网络，左空间变形网络STNl、右空间变形网络STNr，并设计自监督双目损失函数对网络进行训练；步骤2.1、将第n张左视角作业人员图像输入到基于MiDaS的单目视差估计网络中，得到第n张左视差图与第n张右视差图并将与输入到STNr中得到第n张重构后的右视角作业人员图像同时将与输入到STNl中得到第n张重构后的左视角作业人员图像步骤2.2、通过式1构建第n张左视角作业人员图像重构损失以及右视角作业人员图像重构损失 式1中，Lossssim为结构相似性损失，α为加权系数，H,W表示图像的高和宽，i,j表示像素坐标点；通过式2构建第n张左视角作业人员图像视差平滑损失以及右视角作业人员图像视差平滑损失 式2中，为梯度算子；通过式3构建第n张左视角作业人员图像视差一致性损失以及右视角作业人员图像视差一致性损失 步骤2.3、通过式4建立自监督双目的第n个总损失函数Ln； 式4中，λ1,λ2,λ3为三个加权系数；基于左视角作业人员图像集合和右视角作业人员图像集合利用梯度下降算法对自监督单目视差估计网络进行训练，并计算总损失函数以更新网络参数，当训练迭代次数达到设定的次数或总损失误差小于所设定的阈值时，训练停止，从而得到训练后的自监督单目视差估计网络；步骤3、利用单目视差图对双目视差图进行滤波优化操作；步骤3.1、利用训练后的基于MiDaS的单目视差估计网络对第n张左视角作业人员图像Iln进行视差估计，输出对应的单目电网作业人员视差图步骤3.2、利用SGBM半全局块匹配算法对和进行估计，得到第n张双目电网作业人员视差图dn；步骤3.3、通过式5对dn进行自适应归一化处理，得到第n张归一化后的视差图 式5中，μ·、σ·分别为均值、标准差运算；步骤3.4、将作为引导图，对第n张双目电网作业人员视差图dn进行引导滤波，从而得到第n张引导滤波后的双目视差图gn；步骤4、通过YOLOv5模型检测中的作业人员位置的坐标，并在引导滤波后的双目视差图gn中提取相应坐标区域的作业人员视差图pn，再将视差图pn等分为M×M个局部像素块，并将所述视差图pn中的第b个局部像素块记为b∈[1,M2]；通过式6对第b个局部像素块进行评估，获取对应得分从而得到每个局部像素块对应的得分； 选取M×M个局部像素块中得分最高的像素块并计算像素块的视差均值从而通过式7计算中作业人员的距离坐标Dn：

全文数据：

权利要求：

百度查询： 合肥工业大学 基于单双目视觉协同的电网作业人员视差估计及定位方法