买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明属于图像检索领域，具体涉及一种多粒度联想学习的手绘图像实时检索方法，包括：采用三重态损失函数与多粒度联想学习方法训练改进的深度神经网络模型，训练好的深度神经网络模型提取草图分支的嵌入向量，将其送入判别器判断该草图分支的等级，再将该草图分支送入等级对应的降维层，计算草图分支与图像间的欧式距离，根据欧式距离，返回检索到的top‑k张图片；本发明设计多阶段模型，避免不完整草图的多样性混淆，提出一种渐进式不完整草图的多粒度关联学习方法，使得每个不完整草图的嵌入空间逼近后续草图及其对应目标照片的嵌入空间，尽可能以最少的草图笔画检索出目标图片。

主权项：1.一种基于多粒度联想学习的手绘图像实时检索方法，其特征在于，基于多粒度联想学习的手绘图像实时检索方法提出改进的神经网络模型，改进的神经网络模型包括f1、f2和f3三个分支，f1为预训练网络，f2为注意力层，f3为降维层，改进的神经网络模型的训练集为由多张图像与其对应手绘的完整草图组成的图像集，将图像集中每一张图像的完整草图按照绘图的笔画顺序渲染为多张草图，完整草图渲染后构建该图像集的草图分支集，每次训练选取图像集中的一张图像作为目标图像；通过训练集训练改进的神经网络模型，完成训练后，输入手绘图像实时检索图像，改进的神经网络模型的训练过程包括以下步骤：S0、根据图像集中图像对应的手绘草图，采用三重损失函数，训练神经网络模型的f1、f2、f3三个分支，训练完成后固定参数；S1、根据绘制目标图像所需的笔画数对该目标图像的草图分支中每一张图片划分等级；S2、通过预训练网络提取目标图像的特征向量与草图分支中每一张图片的特征向量，采用注意力层的注意力机制得到目标图像的嵌入向量和草图分支中每一张图片的嵌入向量；S3、根据图片划分的等级将图片的嵌入向量送入该图片所属等级对应的降维层；S4、在等级对应的降维层中降低图片的嵌入向量的维数后，将图片与其下一个等级中的图片进行联想，采用均方损失函数计算当前等级与下一等级图片的均方损失，将计算的均方损失作为损失函数更新降维层；重复该过程，直到所有等级的均方损失计算完成；S5、采用三重态损失函数计算草图分支中每一张图片和图像集中图像的误差，将该误差与所有等级的误差相加，进行反向传播，以靠近目标图像、远离图像集中除目标图像外的图像为目标调整模型中的参数，逼近图片与目标图像间的嵌入向量，同时逼近两个相邻等级间的嵌入向量；S6、获取下一张目标图像的草图分支，重复上述步骤S1-S5，直至模型达到训练次数上限。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于多粒度联想学习的手绘图像实时检索方法