买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜河北省气象技术装备中心申请的专利跨模态检索方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114238746B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111562892.0，技术领域涉及：G06F16/9532；该发明授权跨模态检索方法、装置、设备及存储介质是由韩磊;朱杰;甄树勇;王硕飞;朱庚华;郭小璇;高珊珊;陈沛宇设计研发完成，并于2021-12-20向国家知识产权局提交的专利申请。

本跨模态检索方法、装置、设备及存储介质在说明书摘要公布了：本发明提供一种跨模态检索方法、装置、设备及存储介质，该方法包括：获取待检索数据，待检索数据为文本或图像；将待检索数据输入至训练好的神经网络模型，以得到神经网络输出的待检索数据的哈希码，其中，神经网络模型包括文本网络和图像网络，文本网络用于提取文本的全局特征，并根据文本的全局特征生成相应的哈希码，图像网络用于提取图像的全局特征和局部特征，并根据图像的全局特征和局部特征生成相应的哈希码；基于待检索数据的哈希码，在待检索数据集中对待检索数据进行跨模态检索。本发明可以提高跨模态检索性能。

本发明授权跨模态检索方法、装置、设备及存储介质在权利要求书中公布了：1.一种跨模态检索方法，其特征在于，包括：获取待检索数据，所述待检索数据为文本或图像；将所述待检索数据输入至训练好的神经网络模型，以得到所述神经网络输出的所述待检索数据的哈希码，其中，所述神经网络模型包括文本网络和图像网络，所述文本网络用于提取文本的全局特征，并根据文本的全局特征生成相应的哈希码，所述图像网络用于提取图像的全局特征和局部特征，并根据图像的全局特征和局部特征生成相应的哈希码；基于所述待检索数据的哈希码，在所述待检索数据集中对所述待检索数据进行跨模态检索；其中，所述神经网络模型的整体目标函数中包括文本模态内全局一致性损失函数、模态间局部与全局一致性损失函数以及分类对抗损失函数；所述文本模态内全局一致性损失函数用于使类别相同的文本的特征之间保持一致性，以及使类别相同的文本生成的哈希码之间保持一致性；所述模态间局部与全局一致性损失函数用于使图像的全局哈希码和局部哈希码均与图像对应的文本的哈希码保持一致性，以及使类别相同的图像所生成的全局哈希码与局部哈希码保持一致性；所述分类对抗损失函数包括图像的分类对抗损失函数和文本的分类对抗损失函数，所述图像的分类对抗损失函数用于使类别相同的图像所生成的全局哈希码以及局部哈希码保持一致性，所述文本的分类对抗损失函数用于使类别相同的文本所生成的哈希码保持一致性；所述神经网络模型的整体目标函数为：J＝Jtg+Jgl+Jvc+Jtc；或J＝w1Jtg+w2Jgl+w3Jvc+w3Jtc；其中， Jtg表示文本模态内全局一致性损失函数，Jgl表示模态间局部与全局一致性损失函数，Jvc表示图像的分类对抗损失函数，Jtc表示文本的分类对抗损失函数，Ht1、Ht2和Ht分别表示不同文本的文本哈希码，Bt1和Bt2分别表示输入两个文本对后生成的K位二进制矩阵，Hvg和Hvl分别代表文本对应图像的全局哈希码和文本对应图像的局部哈希码，Bvg和Bvl分别代表图像的全局二进制码和图像的局部二进制码，Lvc代表利用Hvgl进行分类的结果，L代表图像的真实类别，Ltc代表利用Ht进行分类的结果，Hvgl表示图像的全局局部哈希码，w1、w2和w3分别表示损失函数的权重。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人河北省气象技术装备中心，其通讯地址为：050021 河北省石家庄市体育南大街178号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。