买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:南京理工大学
摘要:本发明提出了一种结合yolov8与UIE模型用于军事领域的图文多模态实体关系抽取的方法。对于自然语言处理领域中多模态的问题,考虑使用图文分开抽取并且进行结合输出的步骤进行,即使用经过微调重新训练过后的通用信息抽取模型UIE用于基本的文本信息抽取,得到关系三元组头实体,关系,尾实体;将yolov8用于图像中的目标识别,识别的物体类型聚焦在军事领域的飞机类型中,其识别的精确程度可达到我们定义的schema中的具体型号,即做到细粒度识别程度,用精确的型号识别结果进行输出,可以达到军事领域的图文多模态实体关系抽取的效果。本发明,基于军事领域背景,分别结合目标检测和文本信息抽取的技术,实现飞机类型细粒度识别的精度效果,得到输出关系三元组的结果。
主权项:1.结合yolov8与UIE模型用于军事领域的图文多模态实体关系抽取的方法。包括以下步骤:步骤1,制定飞机型号字典,构建军事领域飞机图片数据集并进行划分。步骤2,训练yolov8模型并使用yolov8检测飞机型号。步骤3,制定头尾实体关系对的schema,使用doccano工具进行文本标注,对UIE模型进行微调训练,以提高文本抽取精度,适应军事领域相关文本。步骤4,结合yolov8与UIE模型,输出最后的关系三元组。
全文数据:
权利要求:
百度查询: 南京理工大学 一种结合yolov8与UIE模型用于军事领域的图文多模态实体关系抽取的方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。