申请/专利权人：南京航空航天大学

申请日：2021-08-23

公开（公告）日：2024-06-14

公开（公告）号：CN113807191B

主分类号：G06V40/20

分类号：G06V40/20;G06V40/10;G06V20/40;G06V10/24;G06V10/25;G06V10/44;G06V10/56;G06V10/764;G06V10/82;G06T7/50;G06T7/73;G06F11/36

优先权：

专利状态码：有效-授权

法律状态：2024.06.14#授权;2022.01.04#实质审查的生效;2021.12.17#公开

摘要：本发明公开了一种非侵入式可视化测试脚本自动录制方法。首先，按规定操作方式执行并使用深度相机拍摄一次测试流程；其次，从视频中提取每一帧中指尖坐标，判断手指是否接触待测设备屏幕并推测触控点；然后，从视频帧中提取每次操作前的屏幕区域并矫正为矩形，从矫正后的屏幕区域按触控点获取被操作目标控件的图像；最后，基于控件图像和识别出的动作类型生成可视化测试脚本。本发明无需连接目标设备并在其上安装软件，能够实现非侵入式的测试脚本生成，可适用于复杂环境下封闭、非标准和高安全性要求的系统。

主权项：1.一种非侵入式可视化测试脚本自动录制方法，其特征在于，包括以下步骤：1按照规定的操作要求执行并使用深度相机拍摄一次测试过程；2对步骤1中深度相机拍摄的视频文件的每一帧RGB图像进行分析，通过基于深度神经网络的手部关键点检测，获取手部关键点，并根据检测结果中对手部各关键点的标注获取食指指尖在RGB图像中的二维坐标，对检测后的帧进行过滤，去除手部关键点检测有误的帧；3对于保留的帧图像的每一帧中的食指尖的二维坐标，使用深度相机计算其对应的深度信息，获取指尖点在深度相机坐标系中的三维空间坐标，对指尖到屏幕法向量方向的距离、屏幕的响应情况以及手指尖在屏幕法向量方向移动的速度进行综合评估以判断手指是否接触屏幕；4判断手指接触屏幕后，根据食指指尖的三维空间坐标、食指在三维空间中的方向以及指尖与指腹、指尖相邻指关节的相对位置关系推测出实际触控点；5对每一次测试操作前的RGB帧图像，根据步骤4推测出的实际触控点，在屏幕区域中使用目标检测方法获取被触控的控件图像并将其提取出来；6基于识别出的动作类型和控件图标，根据预定语法生成可视化测试脚本；对于深度相机拍摄的每一RGB帧frame，根据手部关键点检测获得的食指指尖FtipA在以图像左上角为原点的RGB图像坐标系中的二维坐标xa,ya、与指尖EtipA相邻的指关节FtipB的二维坐标xb,yb以及任一其它手指指关节FtipC的坐标xc,yc，对该帧进行过滤：a使用基于颜色空间的方法判断frame中手指所在位置的颜色值是否在正常皮肤颜色范围内，若不在，则说明手指没有出现在图像中，手部关键点检测将图像中其他物体识别为手指，检测有误，过滤掉frame；b如果yayb或yayc，说明在此帧图像中，食指的指尖在其他手部关键点下方，由于测试操作时食指从视频画面下方移入并且其他手指蜷曲，这种情况违反手指形态自然规律，因此过滤掉frame；c计算在RGB图像中xa,ya与xc,yc的二维距离l1，和xa,ya与xb,yb的二维距离l2，若l1l2，说明检测到的食指指尖点与其他手指关节距离过近，不符合步骤1中规定的食指伸出、其他手指蜷曲的操作方式，因此过滤掉frame。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种非侵入式可视化测试脚本自动录制方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD