买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种基于融合相似度的深度跨模态哈希方法，包括：1图像特征提取，文本特征提取，对标签信息构建标签集合；2分别对提取到的图像特征和文本特征计算图像相似度矩阵和文本相似度矩阵，同时也对标签集合建立标签相似度矩阵；3基于计算得到的图像相似度矩阵、文本相似度矩阵和标签相似度矩阵建立融合相似度矩阵；4使用改进的最大化间距的量化机制，结合融合相似度矩阵，建立误差损失函数，监督哈希码的训练。本发明方法能够深入挖掘不同模态数据之间的语义相关性，同时加入改进的量化机制，从而让算法生成更具判别性的哈希编码，实现更高准确度的检索。

主权项：1.基于融合相似度的深度跨模态哈希方法，其特征在于，包括以下步骤：1使用深度网络对图像提取特征，得到图像特征并构建图像特征集合，使用多层感知神经网络对文本提取特征，得到文本特征并构建文本特征集合，并且对图像和文本对应的标签信息，构建标签向量；2分别对提取到的图像特征和文本特征计算图像相似度矩阵和文本相似度矩阵，同时也对标签向量建立标签相似度矩阵，其中，图像相似度矩阵、文本相似度矩阵和标签相似度矩阵都是基于余弦距离计算得到的；3基于计算得到的图像相似度矩阵、文本相似度矩阵和标签相似度矩阵建立融合相似度矩阵；融合相似度矩阵被标识为SU，其计算如下：SU＝βSI+1-βST式中，SI表示图像相似度矩阵，ST表示文本相似度矩阵，β为超参数，用于平衡图像相似度矩阵的计算和文本相似度矩阵的重要性；服从相同数据分布的一批数据认为是同一模态的数据，而服从不同数据分布的一批数据认为是跨模态数据；图像和文本就是两批服从不同数据分布的数据，所以它们两者的集合认为是跨模态数据；为了进一步提高跨模态数据之间的关联度，能够通过计算SUSUT来得到高阶的融合相似度矩阵；然后高阶的融合相似度矩阵需要通过与N做除法来做一个规范化；最后，高阶的融合相似度矩阵与标签相似度矩阵SL，通过以下公式结合在一起生成新的融合相似度矩阵 式中，η为融合超参数，用于权衡标签相似度矩阵和高阶的融合相似度矩阵的影响；4使用改进的最大化间距的量化机制来缩小余弦距离与汉明距离之间的误差，其中，最大化间距的量化机制能够用于减少余弦距离与汉明距离之间的误差，而改进的最大化间距的量化机制则是针对图像和文本数据分别选用不同的量化参数，从而更进一步地优化这种误差；最终，结合图像相似度矩阵、文本相似度矩阵、标签相似度矩阵和改进的最大间距量化机制，建立误差损失函数，监督哈希码的训练；为了使余弦距离相近的两组数据，更大概率地映射到哈希超平面的相同一侧，采用改进的最大化间距的量化机制；改进的最大化间距的量化机制通过建立改进的最大化间距量化误差，并深度网络和多层感知神经网络逐步优化的过程中减小该误差，从而缩小余弦距离与汉明距离之间的误差；将全一向量1定义为哈希超平面，则改进的最大化间距量化误差Q的表达式如下： 式中，和分别表示第i个图像和第i个文本的投影向量，N表示数量，针对图像和文本的两个间距参数δ1,δ2∈1,2]；然后结合新的融合相似度矩阵构建误差损失函数步骤如下：4.1设BI∈{-1,+1}N×K、BT∈{-1,+1}N×K分别表示图像和文本对应K位的哈希码的集合，数量表示为N；基于图像和文本的编码相似度矩阵能够通过如下公式计算得到： 式中，与分别表示经过l2正则化的BI和BT，中的元素用于衡量跨模态数据之间的相似度；为了让哈希码能够保留跨模态数据的语义性，基于图像和文本的编码相似度矩阵与新的融合相似度矩阵的误差通过如下公式计算得到： 式中，代表佛罗贝尼乌斯范数的平方，θI与θT分别表示深度网络参数和多层感知神经网络参数，图像数据间的编码相似度矩阵和文本数据间的编码相似度矩阵分别表示成和因此，得到为了增强哈希码对同一模态数据间相似度信息的保留，图像数据间的编码相似度矩阵和新的融合相似度矩阵的误差，与文本数据间的编码相似度矩阵和新的融合相似度矩阵的误差，也应当在深度网络和多层感知神经网络优化的过程中被最小化；最小化公式如下： 综合上述公式，能够得到编码相似度矩阵的重构误差J，公式如下： 式中，λ1与λ2为超参数，分别用于控制图像数据间的编码相似度矩阵和新的融合相似度矩阵的误差的影响，以及控制文本数据间的编码相似度矩阵和新的融合相似度矩阵的误差的影响；4.2在的构建过程，同样也存在余弦距离与汉明距离之间的误差，因为上述三个矩阵的构建是基于汉明距离，而矩阵是基于余弦距离的，通过添加了超参数μ对做线性的变换，调整μ来减少新的融合相似度矩阵与编码相似度矩阵的误差，让余弦相似度大的数据更大概率落到哈希平面的同一侧；通过改进J，能够得到最终的编码相似度矩阵的重构误差如下： 最终的误差损失函数定义为： 式中，ξ为量化参数，用于权衡改进的最大化间距量化误差的影响；在深度网络和多层感知神经网络优化阶段上使用了随机梯度算法和转换学习的策略，对深度网络参数θI以及多层感知神经网络参数θT依次进行优化：首先，深度网络将θI视为常量，同时计算误差损失函数的梯度，然后多层感知神经网络通过反向传播算法更新θT；然后多层感知神经网络将θT视为常量，计算误差损失函数的梯度，深度网络通过反向传播算法更新θI；深度网络和多层感知神经网络的训练随着逐渐收敛而结束，最后输出BI和BT。

全文数据：

权利要求：

百度查询： 华南理工大学 基于融合相似度的深度跨模态哈希方法