买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜天津赛威工业技术有限公司申请的专利基于视觉注意力机制的软件自动化测试方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119292953B 。

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411824667.3，技术领域涉及：G06F11/3668；该发明授权基于视觉注意力机制的软件自动化测试方法及系统是由孙洲设计研发完成，并于2024-12-12向国家知识产权局提交的专利申请。

本基于视觉注意力机制的软件自动化测试方法及系统在说明书摘要公布了：本发明提供一种基于视觉注意力机制的软件自动化测试方法及系统，涉及自动化测试技术领域，包括获取待测软件的初始界面并进行预处理，将增强界面图像输入界面检测模型，通过解析增强界面图像，识别控件信息；将控件信息输入预训练的注意力机制模型中，基于控件信息，生成控件之间的语义关联和上下文信息，确定测试动作的执行顺序和执行参数，依次模拟人工测试动作，按照执行参数对控件进行测试操作；获取待测软件的界面反馈信息，基于文字识别算法提取界面反馈信息中的文本内容，结合预先构建的语义理解模型，确定文本内容对应的语义，与预设的预期结果进行比对，生成测试操作对应的测试结论。

本发明授权基于视觉注意力机制的软件自动化测试方法及系统在权利要求书中公布了：1.基于视觉注意力机制的软件自动化测试方法，其特征在于，包括：获取待测软件的初始界面并进行预处理，得到增强界面图像，将所述增强界面图像输入界面检测模型，通过解析所述增强界面图像，识别控件信息，所述控件信息包括控件类型、控件属性和控件位置；将所述控件信息输入预训练的注意力机制模型中，基于所述控件信息，生成控件之间的语义关联和上下文信息，确定测试动作的执行顺序和执行参数，基于所述执行顺序，生成测试动作序列，依次模拟人工测试动作，按照所述执行参数对控件进行测试操作；在每一个所述测试操作执行完成后，获取待测软件的界面反馈信息，基于文字识别算法提取所述界面反馈信息中的文本内容，结合预先构建的语义理解模型，确定所述文本内容对应的语义，与预设的预期结果进行比对，生成所述测试操作对应的测试结论；将所述增强界面图像输入界面检测模型，通过解析所述增强界面图像，识别控件信息包括：所述界面检测模型基于语义分割模型构建，通过空洞卷积扩大所述增强界面图像的感受野，捕捉每个像素的多尺度上下文信息，进行像素级分类，为每个像素分配语义标签，并通过条件随机场后处理，进行边界平滑操作，生成语义分割图；基于所述语义分割图，通过区域分水岭算法进行实例分割，将属于同一控件的像素组合成独立的控件实例，生成控件实例分割图；基于所述控件实例分割图，提取每个控件实例对应的控件属性，构建控件节点，解析控件节点之间的空间位置关系，建立有向边，生成控件关系图，所述控件关系图输入预训练的图神经网络模型中，提取控件拓扑结构和空间节点特征，生成控件关系图属性；基于所述语义分割图、所述控件实例分割图和所述控件关系图属性，构建结构化控件信息表示，生成控件信息；基于所述语义分割图，通过区域分水岭算法进行实例分割，将属于同一控件的像素组合成独立的控件实例，生成控件实例分割图包括：基于多尺度Sobel算子，对所述语义分割图的每个语义类别分别计算水平方向梯度和垂直方向梯度，对所述水平方向梯度和所述垂直方向梯度分别平方并相加开方，得到梯度幅值图；遍历所述梯度幅值图中的每一个像素点，基于当前像素点，比较所述当前像素点与周围8邻域像素点的梯度幅值大小，如果当前像素点的梯度幅值为领域最小值，且小于预设的梯度幅值阈值，标记当前像素点为种子点；否则，跳过当前像素点；重复迭代比较，直到遍历完成所述梯度幅值图中的所有像素点；将所述种子点对应的梯度幅值从小到大排序形成优先队列，从优先队列中选取第一个种子点，作为当前种子点，开始区域扩展：以当前种子点为当前处理区域，并创建空的扩展队列，从所述当前种子点对应的周围8邻域像素点中选取未标记像素点，如果所述未标记像素点的梯度幅值小于预设的梯度幅值阈值，将所述未标记像素点作为扩展像素点，加入扩展队列，同时扩展当前处理区域，并标记，对所述扩展队列中的每个扩展像素点重复进行扩展，并移除出扩展队列，直到所述扩展队列为空，当前处理区域扩展完成，生成扩展完成区域；依次处理优先队列中的每个种子点，直到处理完成所有种子点，确定一系列扩展完成区域；计算每一个扩展完成区域的几何属性，按照预设的区域无效规则，保留有效区域，为每一个有效区域生成唯一标识号，并提取对应的外接矩形边界框，输出控件实例分割图；基于多尺度Sobel算子，对所述语义分割图的每个语义类别分别计算水平方向梯度和垂直方向梯度，对所述水平方向梯度和所述垂直方向梯度分别平方并相加开方，得到梯度幅值图包括：所述多尺度Sobel算子，其公式如下： ；其中，s表示尺度，Gxs表示尺度s下水平方向梯度，Gys表示尺度s下垂直方向梯度，k表示算子半径，m表示水平偏移量，n表示垂直偏移量，x表示像素点的水平坐标，y表示像素点的垂直坐标，I·表示像素值，Sxm,n,s表示尺度s的Sobel水平方向算子模板，Sym,n,s表示尺度s的Sobel垂直方向算子模板。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天津赛威工业技术有限公司，其通讯地址为：300457 天津市滨海新区经济技术开发区南海路156号28-A；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。