买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：齐鲁工业大学

摘要：本发明涉及一种多粒度文本表示和图文融合的视觉问答方法及系统，包括以下步骤：获得图片和与图片对应的问题文本，得到图片特征；通过层级扩张卷积提取问题文本中不同级别的句子信息形成文本特征；将得到的图片特征和文本特征进行向量拼接后，经Transformer层融合不同模态的高阶特征得到自适应融合特征向量，经线性变换转换为候选答案维度，通过预测函数得到答案的预测结果。在文本特征表示中进行多层次的文本信息描述保留文本的多层次特征，使用图文自适应融合的方式融合不同模态的高阶特征向量，从多个层面准确的表达问题主题和含义，融合后能够动态的计算图像文本的注意力权重，以便更好的预测答案。

主权项：1.一种多粒度文本表示和图文融合的视觉问答方法，其特征在于：包括以下步骤：获得图片和与图片对应的问题文本，得到图片特征；通过层级扩张卷积提取问题文本中不同级别的句子信息形成文本特征；将得到的图片特征和文本特征进行向量拼接后，经Transformer层融合不同模态的高阶特征得到自适应融合特征向量，经线性变换转换为候选答案维度，通过预测函数得到答案的预测结果；通过层级扩张卷积提取问题文本中不同级别的句子信息形成文本特征，包括以下步骤：利用层级扩张卷积网络获取问题文本的多粒度语义特征；设置逐步增大的扩张率r=n，n=1、2、3...n，分层堆叠扩展的卷积，卷积文本段的长度呈指数扩张，覆盖不同n元语法的语义特征；每个堆叠层L的输出被保存为特定粒度级别的文本的特征图： ；其中，给定句子的序列：，句子序列转换成矩阵为，表示的为每层的过滤器的数量，如果有L层，多粒度的问题文本定义，层级扩张卷积网络从小扩张率的词和短语层面逐步获取词汇和语义特征；将得到的图片特征和文本特征进行向量拼接后，经Transformer层融合不同模态的高阶特征得到自适应融合特征向量，包括以下步骤：将得到的图片特征和文本特征传入协同注意网络，通过学习多模态之间的关系，得到更新后的文本和图片特征；更新后的文本和图片特征进行向量拼接，将拼接的向量融合不同模态的高阶向量得到一个自适应融合特征向量，从自动融合的潜在向量中重建原始的连接向量；最小化原始矢量和重构矢量之间的欧几里得度量，确保学习后的自融合向量不包含来自输入级联潜在向量的任意信号。

全文数据：

权利要求：

百度查询： 齐鲁工业大学 一种多粒度文本表示和图文融合的视觉问答方法及系统