买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：海信电子科技(武汉)有限公司

摘要：本申请提供一种视觉问答处理方法、设备、计算机可读介质和程序产品。该方法包括：接收用户通过交互接口输入的提问指令，并获取提问指令及对应的显示画面；对提问指令的意图类型进行识别；若识别出意图类型为非通用类型，则将提问指令输入至对应的典型属性模型得到提问指令的答案信息；若识别出意图类型为通用类型，则将提问指令输入至通用视觉问答VQA模型以对提问指令与显示画面进行深度协同注意力学习，得到提问指令的答案信息；将指令的答案信息输出给用户。本申请的方法，针对提问的意图类型可输入至对应的典型属性模型或VQA模型，为从显示画面中确定提问指令的答案提供了更多维度的匹配方法，提升了视觉问答结果的准确率。

主权项：1.一种视觉问答处理方法，其特征在于，所述方法应用于智能电视机，包括：接收用户发出交互信息，所述交互信息为所述用户向所述智能电视机发出的指令信息；对所述交互信息进行关键字识别确定所述交互信息为提问指令，则对当前显示画面进行截图以获取所述提问指令对应的显示画面；对所述提问指令的意图类型进行识别；若识别出所述意图类型为非通用类型，则将所述提问指令输入至对应的典型属性类型模型得到所述提问指令的答案信息，所述非通用类型是提问意图具有典型的属性类型；若识别出所述意图类型为通用类型，则将所述提问指令输入至通用视觉问答VQA模型以对所述提问指令与所述显示画面进行深度协同注意力学习，得到所述提问指令的答案信息；将所述指令的答案信息输出给所述用户;所述对所述提问指令的意图类型进行识别之前，还包括：通过问题和图像匹配模块，对所述提问指令和所述显示画面进行匹配识别；若所述提问指令和所述显示画面的匹配度小于匹配阈值则所述提问指令与所述显示画面不相关，则输出更换提问的提示信息；所述方法还包括：得到所述答案信息的置信度，所述置信度表示所述答案信息的可能性概率；若所述置信度小于阈值，且所述提问指令中的提问信息的语义符合图像描述的准入条件，则识别所述显示画面得到图像描述信息及相似度，所述相似度表示图像描述信息与图片的相似程度，所述准入条件为所述图像描述的说法中包含预设词汇；若所述相似度数值大于相似度阈值，将所述图像描述信息输出给所述用户。

全文数据：

权利要求：

百度查询： 海信电子科技(武汉)有限公司 视觉问答处理方法、设备、计算机可读介质和程序产品