申请/专利权人：华南理工大学;华南师范大学

申请日：2024-03-27

公开（公告）日：2024-06-14

公开（公告）号：CN118193667A

主分类号：G06F16/31

分类号：G06F16/31;G06F16/33;G06F16/51;G06F16/532;G06F18/25;G06F18/27;G06V10/80;G06V10/766;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-公开

法律状态：2024.06.14#公开

摘要：本发明公开了一种面向概念漂移的动态跨模态哈希检索方法，包括：特征提取多模态数据，得到文本特征和图像特征；进行标签回归学习、标签拖动学习以及语义嵌入学习，减少图像数据和文本数据之间的信息不平衡，加强多模态信息交互，并将多模态数据特征映射至哈希空间，训练得到哈希函数和哈希码；将哈希函数和哈希码进行图‑文相似度关系权重、哈希码方差权重、哈希码配对权重计算出该哈希函数的权重，选出最优的多个哈希函数及哈希码；根据哈希码计算相似度，并进行排序。本发明解决单表出现的新旧信息不平衡问题以及随着不断积累发生的灾难性遗忘问题。

主权项：1.面向概念漂移的动态跨模态哈希检索方法，其特征在于，包括以下步骤：S1：获取多模态数据，包括图像数据和文本数据，再对多模态数据进行特征提取，提取出相应的图像特征和文本特征，并对图像特征和文本特征进行中心化操作；S2：中心化操作后的图像特征和文本特征，利用径向基核函数捕捉其特征空间中潜在的非线性特征，得到语义信息更丰富的图像特征和文本特征，将图像特征和文本特征分为M批次，数据分批次出现，从而模拟动态数据环境，随着图像特征和文本特征分批次出现，数据的分布改变，发生概念漂移现象；S3：对于每一批次的图像特征和文本特征，进行标签回归学习、标签拖动学习以及语义嵌入学习，减少图像数据和文本数据之间的信息不平衡，加强多模态信息交互，并将图像特征和文本特征映射至哈希空间，训练得到哈希函数和哈希码；S4：根据得到的哈希函数，通过图-文相似度关系权重、哈希码方差权重和哈希码配对权重计算出该哈希函数的权重；所述图-文相似度关系权重通过相似度矩阵计算，以汉明距离为指标，使得相似的图片特征与文本特征的汉明距离尽可能小，让不相似的图片特征与文本特征的汉明距离尽可能大；所述哈希码方差权重通过分别计算图像数据哈希码的方差与文本数据哈希码的方差，使得哈希码方差最大，熵最高，包含最多的信息，从而得到最优的哈希函数；所述哈希码配对权重计算图像数据哈希码与文本数据哈希码之间的相似程度，哈希码相似程度越高，哈希函数效果越好；之后同样通过图-文相似度关系权重、哈希码方差权重、哈希码配对权重计算出已保存的NUM个哈希函数的权重，在NUM+1个哈希函数中，保留权重最高的前NUM个哈希函数及其哈希码；这NUM个哈希函数及其哈希码构成了多哈希表机制，能够解决单哈希表出现的新旧信息不平衡问题以及随着不断积累发生的灾难性遗忘问题；S5：根据得到的NUM个哈希码计算相似度，并进行排序，选择排名前n个候选集实例作为最终的查询结果。

全文数据：

权利要求：

百度查询： 华南理工大学;华南师范大学 面向概念漂移的动态跨模态哈希检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD