申请/专利权人:南京大学
申请日:2024-01-10
公开(公告)日:2024-05-03
公开(公告)号:CN117972121A
主分类号:G06F16/383
分类号:G06F16/383;G06F40/186;G06F40/194;G06F40/30;G06F18/214
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.05.21#实质审查的生效;2024.05.03#公开
摘要:本发明公开了基于多模态大语言模型的关系抽取方法,具体涉及数据处理技术领域,采用多模态相似度检测模块为数据集中的每一个样本从一组人工预定义的样本中选择相关示例,将选定的示例与输入样本整合到特定格式的多模态提示模板中,用以启发大语言模型生成辅助知识;将输入文本与大语言模型生成的辅助知识拼接在一起,再将其送入编码器用于生成融合特征;将融合特征送入全连接层解码,以预测原始文本中两个实体间的关系。本发明创新地结合大语言模型的生成能力和Transformer编码器的建模能力,充分利用视觉和文本模态中的关键信息,从而提高多模态关系抽取模型的性能。
主权项:1.基于多模态大语言模型的关系抽取方法,其特征在于:包括以下步骤:步骤1:采用多模态相似度检测模块为数据集中的每一个样本从一组人工预定义的样本中选择相关示例,将选定的示例与输入样本整合到特定格式的多模态提示模板中,用以启发大语言模型生成辅助知识;步骤2:将输入文本与大语言模型生成的辅助知识拼接在一起,再将其送入编码器用于生成融合特征;步骤3:将步骤2中的融合特征送入全连接层解码器,以预测输入文本中两个实体间的关系。
全文数据:
权利要求:
百度查询: 南京大学 基于多模态大语言模型的关系抽取方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。