买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜腾讯科技(深圳)有限公司;中国科学院自动化研究所申请的专利跨模态检索方法、装置、设备及计算机可读存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN112487217B 。

龙图腾网通过国家知识产权局官网在2025-01-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：201910868454.3，技术领域涉及：G06F16/43；该发明授权跨模态检索方法、装置、设备及计算机可读存储介质是由王亮;黄岩;陈泽睿设计研发完成，并于2019-09-12向国家知识产权局提交的专利申请。

本跨模态检索方法、装置、设备及计算机可读存储介质在说明书摘要公布了：本申请实施例公开了跨模态检索方法，包括：获取第一模态数据和待检索的第二模态数据；将第一模态数据和第二模态数据输入训练好的跨模态检索网络；通过跨模态检索网络提取第一模态数据的第一特征和第二模态数据的第二特征，根据第一特征和第二特征的匹配度输出检索结果；检索结果用于表征从第一模态数据中检索出的与第二模态数据匹配的数据；其中，跨模态检索网络包括利用神经网络基于数据集中的原始数据和生成数据进行训练而来的网络；生成数据包括由生成式对抗网络中训练好的生成器基于原始数据生成的数据；生成器与生成式对抗网络中的判别器同时进行训练，用于将原始数据中属于第二模态的数据生成属于第一模态的数据。

本发明授权跨模态检索方法、装置、设备及计算机可读存储介质在权利要求书中公布了：1.一种跨模态检索方法，其特征在于，包括：获取第一模态数据和待检索的第二模态数据，所述第一模态数据包括文本数据，所述第二模态数据包括图像数据；将所述第一模态数据和所述第二模态数据输入训练好的跨模态检索网络；通过所述跨模态检索网络提取所述第一模态数据的第一特征和所述第二模态数据的第二特征，根据所述第一特征和所述第二特征的匹配度输出检索结果；所述检索结果用于表征从所述第一模态数据中检索出的与所述第二模态数据匹配的数据；其中，所述跨模态检索网络包括利用神经网络基于数据集中的原始数据和生成数据进行训练而来的网络；所述生成数据包括由生成式对抗网络中训练好的生成器基于所述原始数据生成的数据；所述生成器与所述生成式对抗网络中的判别器同时进行训练，用于将所述原始数据中属于第二模态的数据生成属于第一模态的数据；所述生成器与所述生成式对抗网络中的判别器同时进行训练，包括：基于数据集中的原始数据，利用最大似然准则损失函数并采用Adam优化算法对生成式对抗网络中的生成器进行初始化训练；基于所述生成器生成的数据采用三类判别损失函数对生成式对抗网络中的判别器进行训练；引入强化学习策略和蒙特卡洛搜索技术，采用Adam优化算法对初始化训练后的生成器进行训练，直至收敛，同时继续采用三类判别损失函数对生成式对抗网络中的判别器进行训练；所述利用神经网络基于数据集中的原始数据和生成数据进行训练，包括：基于所述原始数据和所述生成数据，使用长短时记忆网络提取属于第一模态的数据的第一特征，使用深度神经网络提取属于第二模态的数据的第二特征，并采用线性变换映射到嵌入子空间中；在所述嵌入子空间中计算每一对属于第一模态的数据和属于第二模态的数据的余弦相似度，并采用三元组损失函数对每一个输入批量进行训练，采用Adam优化算法进行训练，直到模型收敛，得到跨模态检索网络。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人腾讯科技(深圳)有限公司;中国科学院自动化研究所，其通讯地址为：518057 广东省深圳市南山区高新区科技中一路腾讯大厦35层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。