申请/专利权人：中电信人工智能科技(北京)有限公司

申请日：2024-03-19

公开（公告）日：2024-06-25

公开（公告）号：CN118245581A

主分类号：G06F16/332

分类号：G06F16/332;G06F16/31;G06F16/33;G06F16/338

优先权：

专利状态码：在审-公开

法律状态：2024.06.25#公开

摘要：本申请公开了一种模型训练方法、基于大语言模型的问答处理方法及装置，所述方法通过搜索插件构建搜索优化数据，再通过大语言模型和预设的答案生成提示词构建答案生成数据，利用搜索优化数据、答案生成数据和通用监督微调数据训练大语言模型，通过大语言模型和搜索插件根据用户问题信息进行问答处理，生成对应的问题答案信息。本申请能够构建高质量的模型训练数据，降低人工标注成本，解决了构建数据成本大、耗时长的问题，极大提升大语言模型的质量，减少出现幻觉的概率，自动化实现搜索内容优化和答案生成，提高大语言模型的问答处理效率。本申请广泛应用于大语言模型应用技术领域。

主权项：1.一种模型训练方法，其特征在于，所述方法包括以下步骤：获取种子问题集和问题提示词；将所述种子问题集中的各个种子问题和所述问题提示词输入至大语言模型，生成多个拓展问题，将各所述拓展问题确定为各所述种子问题并添加至所述种子问题集；获取关键词提取提示词；根据所述关键词提取提示词，利用大语言模型对所述种子问题集中的各所述种子问题进行问题文本优化，生成各所述种子问题对应的多个搜索优化文本；根据各所述种子问题的各所述搜索优化文本，利用搜索插件进行搜索结果召回，获得各所述搜索优化文本对应的若干个召回片段；针对各所述种子问题对应的各所述召回片段进行相似度排序，从多个所述召回片段中确定目标召回片段；所述目标召回片段为所述种子问题对应的相似度最高的召回片段；将各所述种子问题、各所述种子问题对应的所述目标召回片段以及所述目标召回片段对应的所述搜索优化文本配套组合为搜索优化数据；获取各所述种子问题对应的答案生成提示词；将各所述种子问题和各所述种子问题对应的所述答案生成提示词输入至所述大语言模型，生成问题答案信息；根据各所述种子问题对应的所述问题答案信息和所述目标召回片段，利用事实检验模型进行一致性检验，确定各所述种子问题对应的检验结果并根据所述检验结果构建对应的答案生成数据；根据预设的训练数据混合比例，利用通用监督微调数据、所述搜索优化数据和所述答案生成数据，对所述大语言模型进行训练。

全文数据：

权利要求：

百度查询： 中电信人工智能科技(北京)有限公司 模型训练方法、基于大语言模型的问答处理方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD