买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉理工大学

摘要：本发明公开了一种基于排序聚类序列辨别选择的草图图像检索方法，首先绘制查询草图并选择辨别区域，同时利用排序信息来聚合相同类别的样本，通过这样做，可以了解样本在其他模态下应该是什么样子。最后我们利用哈希码来执行草图图像的检索。本发明设计有序列辨别选择模块的三元组transformer主干，捕捉草图和自然图像之间的重要辨别域；提出由三元组项，语义相似项，排序聚类项和辨别学习项构成的目标函数，在哈希码学习过程中保持哈希码的语义相似性，捕捉不同模态之间的相似性，优化排序信息从而对相似实例进行聚类并且知道辨别域学习。解决冗余信息和忽略排序信息的问题，使检索精度更高，进一步提升性能。

主权项：1.一种基于排序聚类序列辨别选择的草图图像检索方法，其特征在于：首先构建草图图像检索网络，然后利用所述草图图像检索网络进行草图图像检索；所述构建草图图像检索网络，具体实现包括以下步骤：步骤1：构建草图图像检索网络；所述草图图像检索网络，包括transformer分割模块、线性投影模块、transformer编码模块；所述transformer分割模块，用于将输入图像分成M个2D小块图像xp，每幅图像的大小是H×W，图像中每个小块图像的大小是P×P，所述线性投影模块，用于将所述transformer分割模块输出的小块图像映射到D维度，将可学习的位置嵌入添加到小块图像嵌入中，用以保存位置信息；其中，嵌入向量记为z0，位置零的输出是D维类令牌xclass；所述transformer编码模块，用于通过送入transformer编码模块的z0，挖掘序列中小块图像之间的关系；所述transformer编码模块包括L个transformer层和一个哈希层，每个transformer层包含多头自注意层MSA和Conv1×1块，Conv1×1块由带有1×1的卷积核的两个卷积层和一个全连接层；对于每一个transformer层，它的输入都是前一层的输出；第L层transformer输出输入哈希层，进行深度哈希函数学习，将输出的哈希码用于构建目标函数中的三元组项、类别级语义项和排序聚类项；步骤2：获取现有草图图像数据集，将数据集划分为训练数据集、验证数据集和测试数据集；步骤3：在训练数据集中，给定N个三元组单元和三元组标签其中中的三个元素依次分别表示第i个数据的锚点草图、正例图像和负例图像；表示的类标签，表示的类标签，表示的类标签；其中，N、I分别表示三元组单元的个数和数据集中样本的个数；a,p,n分别表示锚点图像、正例图像和负例图像；步骤4：利用训练集训练草图图像检索网络，计算草图图像检索网络的目标函数并更新草图图像检索网络的初始参数；网络训练达到预设轮次或直到损失不再下降为止；获得训练好的草图图像检索网络。

全文数据：

权利要求：

百度查询： 武汉理工大学 基于排序聚类序列辨别选择的草图图像检索方法及系统