买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:数据空间研究院
摘要:本发明涉及自然语言处理和结构化查询语句的生成技术领域,尤其是一种基于大语言模型的两阶段Text2SQL模型、方法与系统。本发明提供的基于大语言模型的两阶段Text2SQL模型的训练方法,分成两阶段,第一阶段是确定输入的自然语言在对应内容数据库中所需要的表和列;第二阶段,根据第一阶段选出的表和列,使用大模型进行Seq2Seq的任务,完成SQL的生成。将整个Text2SQL流程拆分成选表列和生成SQL两阶段,并分别训练小模型和预训练大语言模型来完成这两阶段任务,因此模型的数据构建和使用都具有较强的可拓展性,可很好的支持多表查询和复杂语句生成,并具有较强专业领域适配性。
主权项:1.一种基于大语言模型的两阶段Text2SQL模型的训练方法,其特征在于,包括以下步骤:S1、基于指定内容数据库获取学习数据集,学习数据集中的标注样本为标注有SQL的自然语言语句;S2、基于学习数据集构建第一学习样本和第二学习样本;第一学习样本为标注有对应指定内容数据库的目标表列项的自然语言语句;第二学习样本包括自然语言语句及其对应的目标表列项、目标表列项存储内容的概括值以及标注的SQL;表列项包括表名称和该表中任一列的列名称;设置第一基础模型和第二基础模型;第一基础模型的输入为自然语言语句和指定内容数据库中所有的表列项,第一基础模型的输出为表列项分布概率;第二基础模型的输入包括自然语言语句及其目标表列项、目标表列项存储内容的概括值,第二基础模型的输出为自然语言语句的SQL;令设置的第一基础模型对第一学习样本进行学习,以获取收敛后的第一基础模型作为表列项筛选模型;令设置的第二基础模型对第二学习样本进行学习,以获取收敛后的第二基础模型作为SQL生成模型;S3、结合表列项筛选模型和SQL生成模型组成两阶段SQL模型;其中表列项筛选模型的输入作为两阶段SQL模型的输入,表列项筛选模型的输出连接SQL生成模型的输入,SQL生成模型的输出作为两阶段SQL模型的输出。
全文数据:
权利要求:
百度查询: 数据空间研究院 基于大语言模型的两阶段Text2SQL模型、方法与系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。