买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学;腾讯科技(深圳)有限公司

摘要：本申请公开了一种图像检索的方法以及相关装置，可以应用于人工智能的计算机视觉技术中。通过获取图像特征和文本特征；然后构建相似度节点，以在相似度节点之间传递相似度信息；进一步根据权重信息对相似度节点进行过滤；进而基于更新后的相似度节点和过滤后的相似度节点确定目标相似度值，以响应于目标图像的输入确定对应的文本检索结果。从而实现跨模态的信息检索过程，由于检索过程在全局相似度特征与局部相似度特征之间的相似度信息传递，以及语义权重的筛选，提高了相似度特征的准确性，从而提升图像检索准确率。

主权项：1.一种图像检索的方法，其特征在于，包括：获取图像库中的训练图像对应的图像特征和文本库中的训练文本对应的文本特征，所述图像特征包括图像整体特征和图像区域特征，所述文本特征包括文本整体特征和文本单词特征；基于所述图像整体特征和所述文本整体特征确定全局相似度特征；基于所述图像区域特征和所述文本单词特征确定局部相似度特征；根据所述全局相似度特征和所述局部相似度特征构建相似度节点，以在所述相似度节点之间传递相似度信息，所述相似度信息用于对所述相似度节点进行更新，所述相似度节点之间相互关联；根据注意力机制确定所述全局相似度特征和所述局部相似度特征对应的权重信息，其中包括：根据注意力机制确定所述全局相似度特征和所述局部相似度特征对应的语义信息；基于所述语义信息对应的语义特征确定满足预设条件的权重信息，所述权重信息用于对所述相似度节点进行过滤，所述权重信息是根据语义信息的粒度或实际含义确定的，所述语义信息与所述训练文本相对应；基于更新后的所述相似度节点和过滤后的所述相似度节点确定目标相似度值，以响应于目标图像的输入确定对应的文本检索结果；其中，所述根据所述全局相似度特征和所述局部相似度特征构建相似度节点，以在所述相似度节点之间传递相似度信息，包括：根据所述全局相似度特征和所述局部相似度特征构建所述相似度节点，其中，相似度信息是在矢量边进行传递；利用公式1计算节点间边的相对大小，其中，公式1为：，和为相似度节点，为两个独立的全连接层，即为和之间的相对大小；归一化与其中节点连接所有矢量边的值，得到所有节点向该节点传递信息的权重，并进行多次迭代计算，确定迭代更新次数；利用公式2，基于所述迭代更新次数对相似度节点进行迭代更新，其中，公式2为：，其中，n代表迭代步数；利用公式3，根据全连接层和ReLU层更新所述相似度节点，其中，公式3为，其中，为用于激活的全连接层，为更新后的节点，为更新前的节点。

全文数据：

权利要求：

百度查询： 大连理工大学 腾讯科技(深圳)有限公司 一种图像检索的方法以及相关装置