申请/专利权人：西北工业大学

申请日：2023-09-19

公开（公告）日：2024-04-26

公开（公告）号：CN117932101A

主分类号：G06F16/583

分类号：G06F16/583;G06F16/55;G06F16/35;G06F40/30;G06N3/048;G06N3/0455;G06N3/088

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明基于多源多模态的遥感数据协同处理要求，具体分析当前方法忽略了单一模态特征分布特性的缺陷，公开了一种基于单模特征建模的跨模态遥感图文检索方法。具体地，针对遥感图像与文本数据的冗余信息，提出了基于掩码的注意力机制；针对图像区域与文本序列模态内在的语义联系，提出了基于Transformer的关系建模方法；针对目前主流损失函数三元损失仅仅关注跨模态特征间的距离及匹配关系的缺陷，基于遥感领域图像信息量大及其对应的文本描述多样的特性，提出了基于无监督的分类损失函数。本发明的跨模态遥感检索方法能够提高跨模态遥感图文检索的准确性、鲁棒性和实用性。

主权项：1.一种基于单模特征建模的跨模态遥感图文检索方法，其特征在于包括训练过程和检索推理过程；所述训练过程包括获取数据集中的遥感图像与相对应的描述文本；搭建跨模态检索模型，包括：基于骨干网络对图像与文本分别进行高维特征提取；对图像与文本特征向量分别进行信息掩码；基于Transformer编码器分别对图像与文本特征进行关系建模；得到处理过后的图像特征向量和文本特征向量；对跨模态特征进行余弦相似度计算；计算模型损失，包括：根据相似性结果进行三元损失的计算；利用无监督的思路进行分类损失的计算；通过三元损失与分类损失累加得到总损失；通过损失函数优化网络参数直至收敛；所述检索推理过程包括获取用户输入的遥感图像或描述文本作为待检索数据；将待检索数据输入经过训练的跨模态检索模型中得到其特征向量；根据特征向量计算余弦相似性并进行排序得到最终检索结果。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于单模特征建模的跨模态遥感图文检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD