买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜广东工业大学申请的专利一种基于多粒度特征融合的跨模态检索方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115391625B 。

龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210901615.6，技术领域涉及：G06F16/908；该发明授权一种基于多粒度特征融合的跨模态检索方法和系统是由曹江中;张桂豪设计研发完成，并于2022-07-28向国家知识产权局提交的专利申请。

本一种基于多粒度特征融合的跨模态检索方法和系统在说明书摘要公布了：本发明公开了一种基于多粒度特征融合的跨模态检索方法和系统，涉及图文跨模态双向检索的技术领域，所述方法包括：获取跨模态数据集，提取图像数据的图像细粒度特征和位置细粒度特征，提取文本数据的词细粒度特征；将位置细粒度特征嵌入图像细粒度特征，获得的区域细粒度特征；将所有细粒度特征输入跨模态检索模型合成一个全局粗粒度特征，并进行多粒度特征融合，获得视觉模态特征和文本模态特征；之后计算细粒度总和相似度和全局相似度，构建最终损失函数并进行优化，获得训练好的跨模态检索模型，用于跨模态检索。本发明克服了跨模态检索方法存在的异构鸿沟，同时考虑了局部区域信息和全局信息，融合了多粒度特征，提高了跨模态检索的准确率。

本发明授权一种基于多粒度特征融合的跨模态检索方法和系统在权利要求书中公布了：1.一种基于多粒度特征融合的跨模态检索方法，其特征在于，包括步骤：S1：获取跨模态数据集，所述跨模态数据集包含相互对应的图像数据和文本数据；S2：提取图像数据的图像细粒度特征和位置细粒度特征，提取文本数据的词细粒度特征；提取图像数据的图像细粒度特征和位置细粒度特征的方法为：将图像数据输入现有的目标检测网络中，提取图像数据中目标区域位置和目标框在图像数据中的坐标信息；根据目标区域位置获得图像细粒度特征Ii；根据目标框在图像数据中的坐标信息，计算位置细粒度特征Oi；首先计算图像数据中两个目标框之间的重叠度，计算公式为： 式中，代表图像中第i个目标框与第j个目标框的重叠度，i,j∈[1,r]，r表示图像数据中目标框的个数；colij表示第i个目标框与第j个目标框重叠区域竖直方向的重叠长度，rowij表示第i个目标框与第j个目标框重叠区域水平方向的重叠长度；和分别表示第i个目标框左上角和右下角的坐标；和分别表示第j个目标框左上角和右下角的坐标；将第i个目标框与所有目标框的重叠度集合记为该目标框的位置细粒度特征Oi,则其中，Oi表示图像数据第i个目标框的位置细粒度特征，sum表示图像数据第i个目标框与其余所有目标框的重叠度总和；S3：将位置细粒度特征嵌入图像细粒度特征中，获得区域细粒度特征；S4：将区域细粒度特征和词细粒度特征输入构建的跨模态检索模型中，提取视觉模态特征和文本模态特征；S5：根据视觉模态特征和文本模态特征计算局部细粒度相似度和细粒度总和相似度；S6：根据局部细粒度相似度和细粒度总和相似度构建最终损失函数，以最终损失函数取得最小值为目标进行优化，获得训练好的跨模态检索模型；S7：将待检索的图像数据或文本数据输入训练好的跨模态检索模型中，进行跨模态检索，获得检索结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东工业大学，其通讯地址为：510090 广东省广州市越秀区东风东路729号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。