申请/专利权人：重庆师范大学

申请日：2023-02-01

公开（公告）日：2024-06-21

公开（公告）号：CN116226475B

主分类号：G06F16/903

分类号：G06F16/903;G06F16/901;G06F16/332;G06F16/532;G06F40/30;G06F18/22;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2023.06.23#实质审查的生效;2023.06.06#公开

摘要：本发明公开了一种添加非共现信息优化检索的方法，通过添加实例对之间的语义因素来作为非共现信息，对相似性矩阵进行增强；使用图卷积网络GCN来挖掘文本语义特征，并将标签形成的相似性矩阵输入到GCN中作为邻接矩阵，本发明通过引入了一种多标签非共现相似性度量方法，该方法在多标签相似性度量中添加实例之间的多标签非同现信息，以增强相似性矩阵。因此，我们可以更准确地判断实例之间的相似性。

主权项：1.一种添加非共现信息优化检索的方法，其特征在于：具体步骤包括：步骤S101：通过添加实例对之间的语义因素来作为非共现信息，对相似性矩阵进行增强；步骤S102：使用图卷积网络来挖掘文本语义特征，并将标签形成的相似性矩阵输入到图卷积网络中作为邻接矩阵；步骤S103：通过三个方面的损失来约束网络学习过程，使用模态间损失来减少同一实例的不同信息模态之间的语义差异，使用模态内损失和量化损失来生成具有区别的哈希码，计算哈希表示之间的余弦相似度，以表示由模型学习的实例之间的语义相似度；步骤S104：引入存储库机制，以记住每个训练批中的哈希表示，在每个训练批中，使用实例之间的最新哈希表示和标签约束来进行损失计算，以保留实例中的语义信息和实例之间的语义相关性；步骤S105：通过模型评估指标及数据集进行跨模态检索，即可得出最终检索结果；所述步骤S101中使用大写字母E，G，V代表矩阵，小写字母e，g，v代表向量；Vi*和V*j分别代表矩阵V的第i行和第j列，使用O＝{o1,o2,...,on}表示拥有n个实例的多模态数据集，每个都是多模态数据集中的一个实例，表示图像模态的d1维特征向量，表示文本模态的d2维特征向量；使用代表实例标签矩阵，其中c表示实例语义类别的数量；如果实例oi属于类别k，那么lik＝1，否则lik＝0，sign·是一个符号函数，此符号函数的定义如下： 1，相似性构造：传统上，sij＝1表示不同模态的实例共享至少一个相同的语义类，否则sij＝0；显然，该方法无助于区分实例之间的相似度，在IDHN和ISDH中，成对相似性分为软相似性和硬相似性，实例之间的相似性sij通过使用余弦函数计算其标签之间的距离来获得，使用余弦函数计算实例之间的汉明距离， DMSH使用多级语义相似度来构造相似度矩阵以保存语义信息； 在MLSPH中，使用公式4并集交集的方法构造相似矩阵； 通过上述方法，看到实例之间的相似度不再是简单的0和1，而是介于0和1之间的数字，这有助于区分不同实例之间的相似程度；受MDMCH的启发，使用语义因素作为多标签非共现信息来增强相似度矩阵，这使得相似度矩阵更精细； 其中，li是实例Oi的标签向量，|li|表示标签向量li的长度；是实例Oi和Oj之间的非共现类标签的数量；通过上述方式，在实例之间添加非共现信息；有两个实例O1和O2，他们的标签向量，分别是l1＝{0，1，1，0，1}以及l2＝{1，0，0，0，1}，实例O1和O2都不属于第四语义类；如果如MLSPH中的所述定义，则该非共现信息不会被视为实例1和实例2的相似性；然而，如果两个实例不属于同一语义类，这也被视为一种相似性信息；使用非共现信息和传统相似性来构造的相似性矩阵Snew，如下所示： 为了降低复杂性，使用符号S表示Snew。

全文数据：

权利要求：

百度查询： 重庆师范大学 一种添加非共现信息优化检索的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD