买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华侨大学;厦门亿联网络技术股份有限公司

摘要：本发明公开了一种基于近邻排序关系的跨模态检索方法，包括：构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型；将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练；结合近邻样本排序损失函数和语义相似度度量损失函数，计算语义对齐的损失值，通过训练缩小损失值，得到训练好的深度神经网络模型；通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达，并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中，实现语义相似度的度量和检索。本发明方法能够有效地实现图像和文本两种不同模态数据间的跨模态检索。

主权项：1.一种基于近邻排序关系的跨模态检索方法，其特征在于，包括：构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型；将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练；结合近邻样本排序损失函数和语义相似度度量损失函数，计算语义对齐的损失值，通过训练缩小所述损失值，得到训练好的深度神经网络模型；通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达，并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中，实现语义相似度的度量和检索；其中将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练，包括：将图像数据集输入到图像特征提取网络，其中n表示图像数量；具体为将图像数据输入到VGG-19卷积网络，再通过全连接网络后获得图像数据的深度语义特征；所述VGG-19卷积网络通过ILSVRC-ImageNet数据集进行预训练；将文本数据集输入到文本特征提取网络；具体为将文本数据的内容输入Glove语言模型，将生成的词向量通过全连接网络后获得文本数据的深度语义特征；所述Glove语言模型通过GoogleNews数据集进行预训练；所述图像数据的深度语义特征表示如下：Xf＝NetimgX其中，Xf表示图像数据的深度语义特征；Netimg表示图像特征提取网络；文本数据的深度语义特征表示如下：Yf＝NettxtY其中，Yf表示文本数据的深度语义特征；Nettxt表示文本特征提取网络；所述近邻样本排序损失函数的定义如下： σ函数定义如下： tij的定义如下： 其中，k表示当前第k个检索样本；i和j分别表示被检索的第i和j个样本；m表示被检索数据集；表示第i个被检索数据与第k个检索数据之间的特征相似度；表示第j个被检索数据与第k个检索数据之间的特征相似度；表示第i个被检索数据与第k个检索数据之间的相似排序关系；表示第j个被检索数据与第k个检索数据之间的相似排序关系。

全文数据：

权利要求：

百度查询： 华侨大学 厦门亿联网络技术股份有限公司 一种基于近邻排序关系的跨模态检索方法