申请/专利权人：西安电子科技大学

申请日：2022-05-10

公开（公告）日：2024-06-28

公开（公告）号：CN114896438B

主分类号：G06F16/532

分类号：G06F16/532;G06F16/583;G06F18/22;G06N3/047;G06N3/084;G06N3/042;G06N3/0442;G06N3/048;G06N3/045;G06V10/40;G06V10/74;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2022.08.30#实质审查的生效;2022.08.12#公开

摘要：本发明涉及一种基于分层对齐和广义池化图注意力机制的图文检索方法，包括：分别提取预设图像的初始图像特征向量和预设文本的初始文本特征向量；根据初始图像特征向量和初始文本特征向量中不同节点的级联关系得到图像特征图和文本特征图；分别将图像特征图和文本特征图输入至图注意力和广义池化联合模块得到最终的图像和文本特征向量；基于第一相似度、第二相似度、第三相似度，得到综合相似度，用综合相似度计算损失函数，将损失函数反向传播更新网络参数；利用综合相似度得到检索匹配结果。本发明改善了检索任务“对齐难”的问题，可以得到更完备的、更能表征图像文本匹配关系的图像特征向量和文本特征向量，从而提高了检索的准确度。

主权项：1.一种基于分层对齐和广义池化图注意力机制的图文检索方法，其特征在于，所述图文检索方法包括：步骤1、分别提取预设图像的初始图像特征向量和预设文本的初始文本特征向量，所述初始图像特征向量通过级联全局特征向量和局部特征向量得到；步骤2、根据所述初始图像特征向量和所述初始文本特征向量中不同节点的级联关系，对应得到图像特征图和文本特征图；所述步骤2包括：步骤2.1、从所述初始图像特征向量中提取第i节点的第一图像特征向量和第j节点的第二图像特征向量步骤2.2、对所述第一图像特征向量和所述第二图像特征向量进行点积操作得到第一关系EU；步骤2.3、根据所述初始图像特征向量和所述第一关系EU构建所述图像特征图；步骤2.4、从所述初始文本特征向量中提取第i1节点的第一文本特征向量和第j1节点的第二文本特征向量步骤2.5、对所述第一文本特征向量和所述第二文本特征向量进行点积操作得到第二关系ES；步骤2.6、根据所述初始文本特征向量和所述第二关系ES构建所述文本特征图；步骤3、分别将所述图像特征图和所述文本特征图输入至图注意力和广义池化联合模块，以得到最终的图像特征向量和文本特征向量；所述步骤3包括：步骤3.1、将所述图像特征图输入图注意力网络模块中，通过多头图注意力机制算法对所述初始图像特征向量进行传播，以得到更新后的图像特征向量；所述步骤3.1包括：步骤3.11、将所述初始图像特征向量同时输入所述图注意力网络模块中的每一平行层，通过计算权值矩阵与输入特征的向量点积，得到第h层节点的第一特征量化结果；步骤3.12、对所述第一特征量化结果进行正则化，得到第一多头注意力权重矩阵；步骤3.13、将所述第一多头注意力权重矩阵、可学习的权重矩阵与所述初始图像特征向量相乘，得到每一层的第一输出特征；步骤3.14、将同一个图像的所有第一输出特征进行拼接，得到拼接后的图像特征；步骤3.15、拼接后的图像特征通过正则化网络得到更新后的图像特征向量；步骤3.2、将所述文本特征图输入图注意力网络模块中，通过多头图注意力机制算法对所述初始文本特征向量进行传播，以得到更新后的文本特征向量；所述步骤3.2包括：步骤3.21、将所述初始文本特征向量同时输入所述图注意力网络模块中的每一平行层，通过计算权值矩阵与输入特征的向量点积，得到第h层节点的第二特征量化结果；步骤3.22、对所述第二特征量化结果进行正则化，得到第二多头注意力权重矩阵；步骤3.23、将所述第二多头注意力权重矩阵、可学习的权重矩阵与所述初始文本特征向量相乘，得到每一层的第二输出特征；步骤3.24、将同一个文本的所有第二输出特征进行拼接，得到拼接后的文本特征；步骤3.25、拼接后的文本特征通过正则化网络得到更新后的文本特征向量；步骤3.3、将更新后的图像特征向量输入广义池化模块，得到最终的图像特征向量；所述步骤3.3包括：步骤3.31、更新后的图像特征向量经三角位置编码策略对位置指标进行矢量化，得到第一位置编码；步骤3.32、将所述第一位置编码转换为向量表示后，采用基于双向门控循环单元的序列模型生成第一池化系数；步骤3.33、基于所述第一池化系数，根据更新后的图像特征向量得到最终的图像特征向量，最终的图像特征向量为： 其中，表示最终的图像特征向量，表示最终的图像特征向量中的第i特征，θk表示第一池化系数，表示更新后的图像特征向量中的第i特征，N的取值等于DU；步骤3.4、将更新后的文本特征向量输入广义池化模块，得到最终的文本特征向量；所述步骤3.4包括：步骤3.41、更新后的文本特征向量经三角位置编码策略对位置指标进行矢量化，得到第二位置编码；步骤3.42、将所述第二位置编码转换为向量表示后，采用基于双向门控循环单元的序列模型生成第二池化系数；步骤3.43、基于所述第二池化系数，根据更新后的文本特征向量得到最终的文本特征向量，最终的文本特征向量为： 其中，表示最终的文本特征向量，表示最终的文本特征向量中的第i1特征，θk1表示第二池化系数，表示更新后的文本特征向量中的第i1特征，N1的取值等于DS；步骤4、基于所述全局特征向量和所述初始文本特征向量的第一相似度、所述局部特征向量和所述初始文本特征向量的第二相似度、最终的图像特征向量和最终的文本特征向量的第三相似度，得到所述预设图像和所述预设文本之间的综合相似度，用综合相似度计算损失函数，将损失函数反向传播更新网络参数，网络参数分别位于图像特征向量提取部分、文本特征向量提取部分、图注意力和广义池化联合模块；步骤5、利用更新网络参数后的模型输出的最终的所述综合相似度得到检索匹配结果。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于分层对齐和广义池化图注意力机制的图文检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD