龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中山大学
摘要：本发明公开了一种基于场景图的图像文本检索方法与系统。包括：输入图像和文本；对图像进行特征提取和特征融合，并构造视觉场景图，用图注意力网络学习并对其进行更新；对文本进行单词特征和语义三元组特征的提取，并构造文本场景图，用图注意力网络学习并对其进行更新，用文本场景图对视觉场景图进行增强；利用文本场景图和视觉场景图计算总体相似性分数，构建全局‑局部视觉‑文本场景图相似性度量模型，利用损失函数对模型进行训练直到函数收敛，得到收敛的模型；用户将查询对象输入模型，得到匹配结果。本发明能够充分利用图像的全局信息、图像和文本中的细粒度信息以及二者之间交互作用和多模态知识关系，提高检索准确性、拓展检索应用场景。
主权项：1.一种基于场景图的图像文本检索方法，其特征在于，所述方法包括：从检索数据集中输入图像和文本，对图像进行预处理，得到统一尺寸的图像，并将检索数据集分为训练集和测试集；对所述统一尺寸的图像进行特征提取，并利用全连接网络进行特征融合，得到对象多模态融合特征、对象关系多模态融合特征，以对象多模态融合特征为节点、以对象关系多模态融合特征为边构造视觉场景图，用图注意力网络学习并对其进行更新，得到更新的视觉场景图；对所述文本进行单词特征和语义三元组特征的提取，以单词特征为节点、以语义三元组特征为边构造文本场景图，用图注意力网络学习并对其进行更新，得到更新的文本场景图，用更新的文本场景图对所述更新的视觉场景图进行增强，得到文本增强的视觉场景图；利用所述更新的文本场景图和所述文本增强的视觉场景图计算总体相似性分数，构建全局-局部视觉-文本场景图相似性度量模型，利用损失函数对全局-局部视觉-文本场景图相似性度量模型进行训练直到函数收敛，得到收敛的全局-局部视觉-文本场景图相似性度量模型；用户将查询对象输入所述收敛的全局-局部视觉-文本场景图相似性度量模型，得到匹配结果。
全文数据：
权利要求：
百度查询： 中山大学 一种基于场景图的图像文本检索方法与系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号