买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学(深圳)高等研究院

摘要：本发明公开了一种基于图像量化的通用图像检索方法，首先构建训练样本集，再构建包括视觉特征提取模块，一阶量化跨域模块，组合特征提取模块和二阶量化跨类别模块的图像量化模型；在训练过程中，先随机初始化一阶代码本，经过视觉特征提取模块和一阶代码本利用对比学习机制学习到跨域一致性特征，基于一阶码本更新得到二阶码本，通过组合特征提取模块和二阶码本获取新类别感知的特征，再由二阶量化跨类别模块得到量化组合特征；在检索时将搜索图像库中的每张图像和待检测图像输入图像量化模型得到每张图像的组合特征，基于该组合特征得到检索结果。本发明可有效解决图像检索任务中的跨领域和跨类别挑战，显著提高图像检索的准确性和效率。

主权项：1.一种基于图像量化的通用图像检索方法，其特征在于，包括以下步骤：S1：根据实际需要构建训练样本集X，包括N个种类物品的图像和其对应的类别文本；S2：构建图像量化模型，包括视觉特征提取模块，一阶量化跨域模块，组合特征提取模块和二阶量化跨类别模块，其中：视觉特征提取模块用于提取输入图像x的视觉嵌入特征L表示预设的特征维度，并将视觉嵌入特征Z发送至一阶量化跨域模块和组合特征提取模块；一阶量化跨域模块用于计算视觉嵌入特征Z与一阶代码本中每个一阶代码词的相似度，将相似度最大的一阶代码词作为量化视觉嵌入特征组合特征提取模块中用于提取输入图像x的组合特征表示ζ并发送至二阶量化模块；组合特征提取模块包括注意力模块，特征融合模块，线性层和前馈神经网络，其中：注意力模块用于将视觉嵌入特征Z作为注意力机制中的查询，将二阶代码本子集作为注意力机制中的键和值，K表示二阶代码本子集中包含的物品种类数量，采用注意力机制提取图像得到输入图像的注意力向量v并发送至特征融合模块；特征融合模块用于将注意力向量v叠加至视觉嵌入特征Z得到特征z＝Z+v并发送至线性层；线性层用于对特征z进行线性变换得到特征LNz并发送至前馈神经网络；前馈神经网络用于对特征LNz进行处理得到输入图像x的组合特征表示ζ；二阶量化跨类别模块用于计算视觉嵌入特征Z与二阶代码本中每个二阶代码词Ei的相似度，i＝1,2,…,N，根据相似度确定代码词Ei的权重wi，相似度越大权重越高，然后组合得到量化组合特征S3：随机初始化N个维度为L的代码词Di′，对N个代码词Di′进行归一化处理得到代码词Di，构成初始化一阶代码本S4：从训练样本集X的不同类别中均匀采样得到当前批次的训练样本子集XB，记每个训练样本为xi,j，i＝1,2,…,N，j＝1,2,…,M，M表示每个类别中样本的采样数量；S5：将训练样本子集XB中每个训练样本xi,j输入图像量化模型，由视觉特征提取模块和一阶量化模块提取得到视觉嵌入特征Zi,j和量化视觉嵌入特征为S6：采用N×M个训练样本的量化视觉嵌入特征基于一阶代码本Ω计算得到二阶代码本Ω2，二阶代码本Ω2中每个二阶代码词Ei的计算公式为： S7：对于训练样本子集XB中每个训练样本xi,j，从二阶代码本Ω2中筛选不包含其真实物品种类的二阶代码本子集将视觉嵌入特征Zi,j和二阶代码本子集输入图像量化模型中后续的组合特征提取模块得到组合特征ζi,j，再输入二阶量化模块基于二阶代码本Ω2得到量化组合特征S8：计算损失函数然后更新图像量化模型的参数和一阶代码本；S9：判断是否达到训练结束条件，如果达到，则训练结束，否则返回步骤S4；S10：将整个二阶代码本Ω2作为二阶代码本子集然后将图像库中的每张图像输入图像量化模型，基于训练得到的一阶代码本Ω、二阶代码本Ω2和二阶代码本子集得到每张图像的组合特征；S11：将整个二阶代码本Ω2作为二阶代码本子集然后将待检索图像输入图像量化模型，基于训练得到的一阶代码本Ω、二阶代码本Ω2和二阶代码本子集得到其组合特征，然后计算该组合特征与图像库中每张图像组合特征的相似度，选择相似度最大的R个图像作为检索结果返回，R的值根据实际需要设置。

全文数据：

权利要求：

百度查询： 电子科技大学(深圳)高等研究院 基于图像量化的通用图像检索方法