龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：武汉大学
申请日：2024-03-14
公开（公告）日：2024-06-21
公开（公告）号：CN118227246A
主分类号：G06F9/451
分类号：G06F9/451;G06F9/445;G06F40/30
优先权：
专利状态码：在审-公开
法律状态：2024.06.21#公开
摘要：本发明提出了一种图形用户界面系统语义界面交互化方法及系统。获取系统平台中每个页面的每个控件信息，定义其语义描述文本，并构建当前页面的DOM树。结合每个当前页面DOM树通过页面信息识别、正则匹配提取得到跳转目标页面、每个当前页面的剩余控件，并构建有向图；通过语义嵌入模型计算控件信息和状态的语义向量，以及用户问句的综合语义向量。通过余弦相似度模型评分搜索用户最终目标控件和状态。最后，利用迪杰斯特拉最短路径算法在有向图中搜索最短路径，执行最短路径中控件节点的功能函数，将目标控件状态数据返回并赋值给系统平台中的目标控件。本发明简化了用户界面交互流程，实现了对用户输入的智能理解和目标控件的准确识别。
主权项：1.一种图形用户界面系统语义界面交互化方法，其特征在于，包括以下步骤：步骤1：获取系统平台中每个页面的每个控件信息，定义每个页面的每个控件信息的语义描述文本；步骤2：使用HTML解析器构建每个当前页面DOM树，结合每个当前页面DOM树通过页面信息识别、正则匹配提取得到跳转目标页面、每个当前页面的剩余控件，并构建有向图；步骤3：通过语义嵌入模型分别进行语义计算，得到每个页面的每个控件信息的语义描述文本的语义向量、每个控件的各个状态的语义描述文本的语义向量；步骤4：输入用户的自然语言问句，利用大型语言模型对的任务意图进行信息抽取、语义嵌入模型进行计算，得到每个任务意图实体的文本的语义向量，通过语义嵌入模型计算用户的自然语言问句的综合语义向量；步骤5：分别通过余弦相似度模型计算、相似度评分的最大值搜索，依次得到用户的最终目标的控件、用户的最终目标控件的目标状态；步骤6：通过迪杰斯特拉最短路径算法在有向图中搜索访问最短路径，执行访问最短路径中控件节点的功能函数，将最终目标控件的目标状态数据返回并赋值给系统平台中相应的目标控件。
全文数据：
权利要求：
百度查询： 武汉大学 一种图形用户界面系统语义界面交互化方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号