申请/专利权人：福州大学

申请日：2021-06-30

公开（公告）日：2024-02-02

公开（公告）号：CN113485615B

主分类号：G06F3/04845

分类号：G06F3/04845;G06F3/04842;G06F3/0483;G06F3/0486;G06V30/40;G06V30/14;G06T11/60;G06T11/80

优先权：

专利状态码：有效-授权

法律状态：2024.02.02#授权;2021.10.26#实质审查的生效;2021.10.08#公开

摘要：本发明涉及一种基于计算机视觉的典型应用智能图文教程制作的方法及系统，该方法包括实时操作过程和录屏操作过程，实时操作过程包括：A1、获取用户操作过程中的鼠标和键盘操作，分析鼠键操作对应的典型软件操作内容；A2、对操作内容进行筛选，判定其关键程度，对包含关键文字信息的操作进行用户屏幕区域提取；A3、对提取到的区域进行文字内容识别，将用户操作画面与提取所得文字进行编排，写入文档；录屏操作过程包括：B1、对输入视频进行关键帧提取，识别录屏操作中关键内容；B2、对获取的关键帧内容进行鼠标检测，标定操作位置，整理标定操作位置后的关键帧，写入文档。该方法及系统可以有效地识别用户操作内容，智能化生成操作文档。

主权项：1.一种基于计算机视觉的典型应用智能图文教程制作的方法，其特征在于，包括实时操作过程和录屏操作过程，所述实时操作过程包括以下步骤：步骤A1：获取用户操作过程中的鼠标和键盘操作，分析鼠标和键盘操作对应的典型软件操作内容；步骤A2：对获取到的操作内容进行筛选，判定其关键程度，对包含关键文字信息的操作进行用户屏幕区域提取；步骤A3：对提取到的区域进行文字内容识别，将用户操作画面与提取所得文字进行编排，写入文档；所述录屏操作过程包括以下步骤：步骤B1：对输入视频进行关键帧提取，识别录屏操作中关键内容，过滤多余的帧；步骤B2：对获取到的关键帧内容进行鼠标检测，标定操作位置，整理标定操作位置后的关键帧，写入文档；所述步骤A1具体包括以下步骤：步骤A11：对用户实时操作内容进行鼠标和键盘事件的检测，记录操作时的鼠标位置和键盘输入；步骤A12：对检测结果进行分析，将用户操作分为鼠标点击操作和文字输入操作两大类别；鼠标点击操作进一步划分为左击、右击、双击、拖动；鼠标左击对应用户进行典型应用按钮单击操作，鼠标右击对应用户进行典型应用隐藏菜单栏或二级快捷菜单栏的展开；鼠标双击对应用户进行典型应用的打开文件或文件架操作；鼠标拖动对应用户进行典型应用物体选中后位置调整操作或文字选中操作；步骤A13：根据实时检测返回事件名称直接进行左击，右击判定；在此基础上利用前后两次左击位置判定是否进行双击，当第二次点击位置xsec,ysec包含于第一点击位置xfir,yfir加上允许用户操作时出现的偏移量Δd当中，减小用户点击操作的微小抖动对判定结果产生的影响，即满足xsec,ysec∈xfir+Δd,yfir+Δd时，其中xfir,yfir表示第一次点击的像素坐标，位置xsec,ysec表示第二次点击的像素坐标，Δd表示因用户操作出现的偏移量；判定用户进行双击操作；步骤A14：对出现的鼠标拖动操作进行进一步判定，进行用户鼠标移动位置记录，判定鼠标拖动路径是否满足水平方向或竖直方向上的直线拖动；以用户鼠标按下位置作为起点判定鼠标松开位置是否在以起点为中心的十字范围内，将属于十字范围内的鼠标拖动操作判定为文字水平或竖直方向的选中；所述步骤A2具体包括以下步骤：步骤A21：截取用户进行鼠标点击操作的屏幕画面，记录鼠标点击位置；步骤A22：截取以鼠标为中心，大小为用户屏幕二十五分之一的固定区域；将获得的固定区域图片转为灰度图，进行二值化处理；分别在水平方向和竖直方向对像素进行投影得到投影直方图T；将直方图看成长度为照片长度或宽度大小的列表T＝{p1,p2,p3…,pn}，p1、p2、p3至pn分别表示第1、2、3至n行或列的投影值，n表示图片的长或宽；判断直方图当中是否存在p值为零列；若不存在p值为零列则进一步对直方图数据进行处理，计算方法为：pmin＝MinT＝Min{p1,p2,p3…,pn}T′＝{p1-pmin,p2-pmin,p3-pmin…,pn-pmin}其中pmin表示投影数据当中的最小值，MinT表示列表T中的最小值，Min{p1,p2,p3…,pn}表示在p1至pn数值中的最小值；T′表示经过处理后的投影数据，将各列数值减去T中的pmin获得零列；步骤A23：分别选取水平投影直方图中与垂直投影直方图当中离鼠标点击位置最近的连续最大非零区域作为候选区域。

全文数据：

权利要求：

百度查询： 福州大学 基于计算机视觉的典型应用智能图文教程制作的方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD