申请/专利权人：武汉理工大学三亚科教创新园

申请日：2024-01-04

公开（公告）日：2024-04-26

公开（公告）号：CN117520590B

主分类号：G06F16/583

分类号：G06F16/583;G06F16/532;G06F16/55

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2024.02.27#实质审查的生效;2024.02.06#公开

摘要：本申请公开了一种海洋跨模态图文检索方法、系统、设备及存储介质，该方法通过全局相似度量模块分别对图像全局特征和文本全局特征进行相似聚类，提取到图像的重构图像全局特征和文本的重构文本全局特征；通过多层指导模块对图像局部特征、文本局部特征、重构图像全局特征和重构文本全局特征进行融合重构，不仅能针对性地处理图像的图像局部特征和文本的文本局部特征，还能将图像局部特征和文本局部特征进行有机融合，进而再与重构图像全局特征和重构文本全局特征进行融合重构，得到有多模态信息的对齐图像特征和对齐文本特征，实现了对齐图像和文本两个模态之间的信息，从而提高了检索精度。

主权项：1.一种海洋跨模态图文检索方法，其特征在于，包括：获取图像文本数据集，所述图像文本数据集包括图像数据集和文本数据集；构建初始图文检索多级指导网络模型，所述初始图文检索多级指导网络模型包括图像特征提取模块、文本特征提取模块、全局相似度量模块、多层指导模块和多子空间联合学习模块，其中，所述多子空间联合学习模块包括模态交叉匹配学习模块和模态对抗融合学习模块；将所述图像文本数据集输入至所述初始图文检索多级指导网络模型，根据所述图像特征提取模块提取所述图像数据集的图像全局特征和图像局部特征；根据所述文本特征提取模块获取所述文本数据集的文本全局特征和文本局部特征；根据所述全局相似度量模块分别对所述图像全局特征和所述文本全局特征进行相似聚类，分别得到重构图像全局特征和重构文本全局特征；根据所述多层指导模块分别对所述图像局部特征、所述文本局部特征、所述重构图像全局特征和所述重构文本全局特征进行融合重构，分别得到对齐图像特征和对齐文本特征；根据所述模态交叉匹配学习模块计算所述对齐图像特征和所述对齐文本特征之间的模态交叉匹配学习损失；根据所述模态对抗融合学习模块计算所述对齐图像特征和所述对齐文本特征之间的公共表示生成器损失和模态判别损失，并基于所述模态交叉匹配学习损失、所述公共表示生成器损失和所述模态判别损失构建优化目标函数，根据所述优化目标函数确定训练完备的目标图文检索多级指导网络模型；根据所述目标图文检索多级指导网络模型进行图文检索；其中，所述模态交叉匹配学习损失的计算公式为： 所述公共表示生成器损失的计算公式为： 所述模态判别损失的计算公式为： 所述优化目标函数的计算公式为：Q其中，为所述模态交叉匹配学习损失，为边际阈值参数，为最终的遥感图像特征向量，为最终的遥感文本特征向量，为遥感图像和文本之间的相似度得分，为所有与不匹配的文本特征向量，为遥感图像与所有与其不匹配的文本的相似度得分，为所有与不匹配的遥感图像特征，为文本与所有与其不匹配的遥感图像的相似度得分，为所述公共表示生成器损失，为图像公共表示生成器损失，为文本公共表示生成器损失，表示模态鉴别器网络，为第i个最终的遥感图像特征向量，为所述模态判别损失，为图像模态判别损失，为文本模态判别损失，，0时表示为图像模态，1时表示为文本模态，N为样本对总数，Q为所述优化目标函数。

全文数据：

权利要求：

百度查询： 武汉理工大学三亚科教创新园 海洋跨模态图文检索方法、系统、设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD