买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：青岛高重信息科技有限公司

摘要：本发明实施例涉及计算机数据处理技术领域，公开了一种基于图像‑文本数据的人物检索方法以及相关设备，该方法包括：将待检索对象对应的文本信息及图像信息输入多模态语义映射网络，得到融合后特征；将融合后特征在图像特征库中进行匹配，得到待检索对象匹配的目标人物图像。多模态语义映射网络训练过程如下；将图像编码器输出的图像特征样本及文本编码器输出的文本特征样本及真实匹配标签比较，得到第一损失函数；将图像特征样本及文本特征样本输入特征融合网络，获取特征融合网络输出的融合后特征样本；将图像特征样本、融合后特征样本及真实匹配标签比较，得到第二损失函数；本发明实施例能有效结合文本及图像数据，实现更准确的人物检索。

主权项：1.一种基于图像-文本数据的人物检索方法，其特征在于，所述方法包括：获取待检索对象对应的文本信息以及图像信息；将所述文本信息以及图像信息输入预设的多模态语义映射网络，得到所述待检索对象对应的融合后特征；其中，所述多模态语义映射网络包括文本编码器、图像编码器以及分别与所述文本编码器、图像编码器连接的特征融合网络；所述图像编码器以及文本编码器的训练过程包括：将图像样本输入所述图像编码器，将文本样本输入所述文本编码器；将所述图像编码器输出的图像特征样本以及所述文本编码器输出的文本特征样本进行比较，得到所述文本编码器以及图像编码器针对所述图像样本与文本样本的第一匹配预测概率；将所述第一匹配预测概率与所述图像样本与文本样本之间的真实匹配标签进行比较，得到所述图像编码器及所述文本编码器的第一损失函数；根据所述第一损失函数对所述图像编码器以及所述文本编码器进行迭代式优化；所述特征融合网络的训练过程包括：将所述图像特征样本以及文本特征样本输入所述特征融合网络，获取所述特征融合网络输出的融合后特征样本；将所述图像特征样本以及融合后特征样本进行比较，得到所述特征融合网络针对所述图像特征样本以及融合后特征样本的第二匹配预测概率；将所述真实匹配标签与所述第二匹配预测概率进行比较，得到所述特征融合网络的第二损失函数；根据所述第二损失函数对所述特征融合网络进行迭代式优化；将所述融合后特征与预设的图像特征库中各个可选人物图像的特征分别进行匹配，得到与所述待检索对象匹配的目标人物图像。

全文数据：

权利要求：

百度查询： 青岛高重信息科技有限公司 基于图像-文本数据的人物检索方法以及相关设备