申请/专利权人：中国海洋大学

申请日：2024-01-29

公开（公告）日：2024-04-26

公开（公告）号：CN117648459B

主分类号：G06F16/583

分类号：G06F16/583;G06F16/58;G06F16/33;G06N3/0442;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2024.03.22#实质审查的生效;2024.03.05#公开

摘要：本发明属于跨模态检索技术领域，公开了针对高相似海洋遥感数据的图文跨模态检索方法及系统，所述方法包括以下步骤：步骤S1、提取图像和文本特征；步骤S2、训练跨模态检索模型：所述跨模态检索模型包括细粒度稀疏表示模块、跨模态信息偏差计算模块和语义感知损失模块；步骤S3、将待检索的图片或文本输入至训练好的跨模态检索模型中，得到对应的检索结果。通过本发明实现相似性极高的同语义数据的准确匹配。

主权项：1.针对高相似海洋遥感数据的图文跨模态检索方法，其特征在于，包括以下步骤：步骤S1、提取图像和文本特征：对于图像I和文本T，分别提取图像全局特征Xg和图像局部特征X、文本全局特征Fg和文本局部特征F；步骤S2、训练跨模态检索模型：所述跨模态检索模型包括细粒度稀疏表示模块、跨模态信息偏差计算模块和语义感知损失模块，具体训练方法如下：步骤S21、通过细粒度稀疏表示模块，获取图像和文本的细粒度稀疏表示：首先，在细粒度多属性库P的基础上，借助维度增加的交叉注意力，更新图像局部特征X和文本局部特征F，将X和F这两个特征转换为细粒度稀疏表示，生成稀疏图像局部特征X′和稀疏文本局部特征F′，挖掘出潜在的属性表示；然后，采用交叉注意力将生成的稀疏图像局部特征X′和稀疏文本局部特征F′的属性信息进行整合，更新细粒度多属性库P；步骤S22、通过跨模态信息偏差计算模块，计算跨模态信息偏差：基于生成的稀疏局部特征X′和F′，计算模态内亲和矩阵以及模态间亲和矩阵；在该矩阵基础上，计算模态间偏差Δ，模态间偏差Δ用于相似性匹配过程；步骤S23、通过语义感知损失模块进行相似性匹配，完成模型训练：使用三元组损失计算图像特征和文本特征的正样本相似度和负样本相似度，将相似度最高的图像特征和文本特征作为最佳检索匹配对；三元组损失LI，T公式如下： 其中，SX，F代表图像和对应正文本对的正样本相似度，代表图像和对应负文本对的负样本相似度，代表文本和对应负图像对的负样本相似度，代表文本对应的负图像样本，代表图像对应的负文本样本；[x]+≡maxx，0，α表示间隔参数，作用是拉大图像和正文本对与图像和负文本对之间的差距；其中，正样本相似度SX，F包含两部分，一部分是图像与其正样本文本局部特征的相似度S′X′，F′，另一部分是图像与其正样本文本全局特征的相似度SXg，Fg，SX，F＝S′X′，F′+SXg，Fg13；对于负样本的相似度来说，局部和全局的相似性不是简单的相加，而是考虑了语义感知；该方法定义一个参数ε，该参数的计算为： 进而，写为： 表示图像与其负样本文本局部特征的相似度，表示图像与其负样本文本全局特征的相似度；同理，的计算与采用相同的计算机制；步骤S3、将待检索的图片或文本输入至训练好的跨模态检索模型中，得到对应的检索结果。

全文数据：

权利要求：

百度查询： 中国海洋大学 针对高相似海洋遥感数据的图文跨模态检索方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD