恭喜中南大学杨展获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜中南大学申请的专利一种基于关系网络的跨模态哈希检索方法、装置和设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119226447B 。
龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411756952.6,技术领域涉及:G06F16/334;该发明授权一种基于关系网络的跨模态哈希检索方法、装置和设备是由杨展;王博轩;龙军;李逸楠;陈云飞设计研发完成,并于2024-12-03向国家知识产权局提交的专利申请。
本一种基于关系网络的跨模态哈希检索方法、装置和设备在说明书摘要公布了:本申请涉及一种基于关系网络的跨模态哈希检索方法、装置和设备,本方法首先获得样本对的图像特征向量和文本特征向量,并得到融合特征向量;然后通过关系网络从图像特征向量、文本特征向量以及融合特征向量中挖掘不同模态对象之间的关联关系,捕获对象样本之间的成对关系的核心共性;然后根据哈希网络计算每个样本对的第一哈希码和第二哈希码之间的第一相似度,根据第二相似度构建损失函数,最后基于损失函数对哈希检索模型的哈希网络进行反向优化。本方法将关系网络引入跨模态哈希检索,解决在将多模态数据的特征向量在获取相似度时存在损失模态语义特征相似性,导致跨模态数据检索准确率不足的问题,实现对多模态的数据进行高精度跨模态检索。
本发明授权一种基于关系网络的跨模态哈希检索方法、装置和设备在权利要求书中公布了:1.一种基于关系网络的跨模态哈希检索方法,其特征在于,所述方法包括:获取目标文本和目标图像;将所述目标文本和所述目标图像输入哈希检索模型,得到所述哈希检索模型输出的所述目标文本对应的第一目标哈希码和所述目标图像对应的第二目标哈希码之间的哈希检索结果,其中,所述哈希检索模型的训练过程包括:根据所述哈希检索模型的特征提取网络获取每个样本对的文本特征向量和图像特征向量;所述样本对由待训练文本的任意一个文本分词样本和待训练图像的任意一个图像点样本组成;根据所述哈希检索模型的融合网络融合每个样本对的文本特征向量和图像特征向量,得到每个样本对的融合特征向量;根据所述哈希检索模型的哈希网络将每个样本对的文本特征向量转换成第一哈希码,和将每个样本对的图像特征向量转换成第二哈希码,并计算每个样本对的所述第一哈希码和所述第二哈希码之间的第一相似度;根据所述哈希检索模型的关系网络计算每个样本对的向量组的第二相似度;所述每个样本对的向量组由每个样本对的文本特征向量、图像特征向量以及融合特征向量其中至少两项组成;根据每个样本对的向量组的所述第二相似度,构建用于约束所有样本对中的相似的哈希码之间的所述第一相似度小于不相似的哈希码之间的所述第一相似度的损失函数,并基于所述损失函数对所述哈希检索模型的哈希网络进行反向优化,直至得到训练完成的所述哈希检索模型;所述计算每个样本对的向量组的所述第二相似度,包括: ; ;其中,为由特征向量和特征向量组成的向量组的拼接向量,所述特征向量和特征向量为所述文本特征向量、所述图像特征向量和所述融合特征向量的其中一种,且所述特征向量与所述特征向量不是同一种模态的特征向量;为第一偏置项,为第一权重矩阵,为非线性激活函数,为第二偏置项,为第二权重矩阵,为的转置矩阵,为Sigmoid激活函数,为由所述特征向量和所述特征向量组成的向量组的第二相似度;所述损失函数包括: ; ; ;其中,为一个样本对,为相似的样本对的集合,为不相似的样本对的集合,为样本对的平均值,为样本对的第一相似度,为损失函数,为预设边界值,最大值函数,为第一个中间损失函数,为第二个中间损失函数,和分别为预设的权重值。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中南大学,其通讯地址为:410083 湖南省长沙市岳麓区麓山南路932号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。