申请/专利权人：山西金智鸿阳科技有限公司

申请日：2019-09-21

公开（公告）日：2024-06-18

公开（公告）号：CN110717409B

主分类号：G06V20/52

分类号：G06V20/52;G06V20/40;G06V10/26;G06V10/764;G06V10/82;G06T7/13;G06T7/136

优先权：

专利状态码：有效-授权

法律状态：2024.06.18#授权;2024.06.04#专利申请权的转移;2022.10.11#实质审查的生效;2020.01.21#公开

摘要：本发明提出一种对开式刀闸状态的实时精确检测方法，包括：采集实时监控视频，建立模型文件；获取样本图像，利用深度学习对其进行训练获取训练模型，然后对每一帧图像进行检测获取其中的刀闸区域和刀闸状态以及绝缘子区域，结合模型文件对其中的刀闸臂和绝缘子进行定位，根据定位结果计算刀闸可信度；根据上述定位的结果对满足可信度条件的图像进行检测，计算左刀闸臂和右刀闸臂之间的初始夹角；估算系统误差，确定每一帧图像中左刀闸臂和右刀闸臂之间的校正夹角，判断每一帧图像中刀闸的实时状态，直至检测到刀闸停止运动，验证视频中刀闸运动的最终状态；本发明解决了对开式刀闸状态的实时检测精度低的问题。

主权项：1.一种对开式刀闸状态的实时精确检测方法，其特征在于，包括：采集对开式刀闸的实时监控视频，获取视频的任一帧图像并根据其建立该型号刀闸臂的边界线模型并保存为模型文件，且根据模型文件计算刀闸臂的左中点、右中点、中点和中线；通过多种途径获取对开式刀闸的样本图像，利用深度学习对样本图像进行训练获取训练模型，利用训练模型对视频的第一帧图像进行检测，获取第一帧图像中所有的刀闸区域、刀闸状态以及绝缘子区域，再结合模型文件对第一帧图像中的刀闸臂和绝缘子进行定位，根据定位结果计算刀闸可信度，给定可信度阈值，若可信度低于可信度阈值则判断当前刀闸状态为无法检测，继续检测下一帧图像，直至获取第一帧可信度大于可信度阈值的图像，将其标记为初始帧图像；根据上述对刀闸臂的定位结果对视频的初始帧图像进行边缘检测，获取边缘线集合，计算初始帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离，将不在阈值范围内的距离所对应的边缘线剔除，获取更新边缘线集合；利用中线将更新边缘线集合左右区分，分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合并进行对称配对，确定最终的左刀闸臂边缘线和右刀闸臂边缘线，计算左刀闸臂和右刀闸臂之间的初始夹角，判断初始帧图像中刀闸的实时状态；同样的方式处理初始帧图像后的第二帧图像，若可信度低于可信度阈值则判断当前刀闸状态为无法检测，否则根据中线估算系统误差，确定第二帧图像中左刀闸臂和右刀闸臂之间的校正夹角，判断第二帧图像中刀闸的实时状态；与处理第二帧图像相同的方式依次处理下一帧图像，直至检测到刀闸停止运动，验证视频中刀闸运动的最终状态；利用中线将更新边缘线集合左右区分，分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合后，将左刀闸臂边缘线集合和右刀闸臂边缘线集合进行权重分配，将权重分配后的左刀闸臂边缘线集合和右刀闸臂边缘线集合进行对称配对；结合模型文件对第一帧图像中的刀闸进行定位的具体方式为：利用训练模型对第一帧图像进行检测，获取第一帧图像中的所有刀闸区域及每个刀闸区域对应的刀闸状态，“闭合”和“虚合”状态的刀闸对应的所在区域为包含左右刀闸臂的整体矩形框区域，“打开”状态的刀闸对应的所在区域为包含左刀闸臂的左矩形框区域和包含右刀闸臂的右矩形框区域；对于“闭合”和“虚合”状态的刀闸同时获取其左右刀闸臂的接触点位置矩形框；根据上述两个左侧端点和两个右侧端点获取闭合状态的刀闸的闭合四边形框区域，计算上述第一帧图像中整体矩形框区域、左矩形框区域、右矩形框区域分别与闭合四边形框区域的重叠面积；遍历第一帧图像中所有“闭合”和“虚合”状态的刀闸所在的区域，给定重叠面积阈值，获取包含左中点和右中点且重叠面积最大并大于重叠面积阈值的区域为最终的左右刀闸臂整体区域，同时计算左右刀闸臂的接触点位置矩形框的中心点并将其记为接触点，以过接触点且与该左右刀闸臂整体区域矩形框短边平行的中心直线为界限，左侧矩形框为左刀闸臂矩形框，右侧矩形框为右刀闸臂矩形框，实现对第一帧图像中“闭合”或“虚合”状态的刀闸定位；若不存在上述包含左中点和右中点且重叠面积最大并大于重叠面积阈值的区域，则表明第一帧图像中待检测的刀闸的状态不是“闭合”或“虚合”状态，从所有“打开”状态的刀闸中实现刀闸定位，遍历第一帧图像中所有“打开”状态且重叠面积大于重叠面积阈值的刀闸所在的区域，获取包含左中点且重叠面积最大的区域记作第一打开左刀闸臂区域；获取包含右中点且重叠面积最大的区域记作第一打开右刀闸臂区域；遍历第一帧图像中所有“打开”状态且重叠面积小于等于重叠面积阈值的刀闸所在的区域，获取前两个包含左中点且重叠面积最大的区域记为左刀闸臂匹配区域；获取前两个包含右中点且重叠面积最大的区域记为右刀闸臂匹配区域；计算任一个左刀闸臂匹配区域的4个顶点到左中点的距离并选取左侧最小距离，相比两个左侧最小距离并将较小的左侧最小距离对应的左刀闸臂匹配区域记为第二打开左刀闸臂区域；计算任一个右刀闸臂匹配区域的4个顶点到右中点的距离并选取右侧最小距离，相比两个右侧最小距离并将较小的右侧最小距离对应的右刀闸臂匹配区域记为第二打开右刀闸臂区域；给定刀闸臂面积阈值，大于刀闸臂面积阈值的第一打开左刀闸臂区域记为最终左刀闸臂区域，否则大于刀闸臂面积阈值的第二打开左刀闸臂区域记为最终左刀闸臂区域；大于刀闸臂面积阈值的第一打开右刀闸臂区域记为最终右刀闸臂区域，否则大于刀闸臂面积阈值的第二打开右刀闸臂区域记为最终右刀闸臂区域，实现对第一帧图像中“打开”状态的刀闸定位。

全文数据：

权利要求：

百度查询： 山西金智鸿阳科技有限公司 一种对开式刀闸状态的实时精确检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD