申请/专利权人：天讯瑞达通信技术有限公司

申请日：2023-11-08

公开（公告）日：2024-06-25

公开（公告）号：CN117609444B

主分类号：G06F16/332

分类号：G06F16/332;G06F16/33;G06F16/35;G06F16/36;G06F18/214;G06F18/241

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.03.15#实质审查的生效;2024.02.27#公开

摘要：本发明公开了一种基于大模型的搜索问答方法，涉及自然语言处理技术领域。方法包括步骤：获取知识信息；根据知识信息制作指令微调数据集，通过指令微调数据集对大模型进行微调训练，提高问答模型的精度和准确性；将知识信息入库，并根据知识信息对大模型进行训练；将用户输入问题处理为第一prompt文本；对第一prompt文本进行LangChain检索得到相似度；若相似度大于第一相似度阈值，则获取答案，提高问复速度；若相似度小于第一相似度阈值，则根据坐席困惑摘要、Topk知识信息和预设大模型prompt模板生成第三prompt文本，将第三prompt文本输入大模型得到答案，提高搜索问答的准确率和效率。

主权项：1.一种基于大模型的搜索问答方法，其特征在于：包括步骤：S1、获取知识信息；S2、根据知识信息制作指令微调数据集，通过指令微调数据集对大模型进行微调训练；S3、通过LangChain将知识信息入库，并根据知识信息对大模型进行Embedding训练；S4、接收用户输入问题，将用户输入问题处理为第一prompt文本；S5、对第一prompt文本进行LangChain检索得到相似度；若相似度大于第一相似度阈值，则获取答案，结束流程；若相似度小于第一相似度阈值，则进入步骤S6；S6、根据第一prompt文本和历史信息文本获取坐席困惑摘要，根据第一prompt文本和坐席困惑摘要获取LangChain中的Topk知识信息，根据所述坐席困惑摘要、Topk知识信息和预设大模型prompt模板生成第三prompt文本，将第三prompt文本输入大模型得到答案；步骤S1还包括：对知识信息进行数据清洗；所述数据清洗包括删除异常数据；所述异常数据包括带有网址的条目和短文本，以及带有特殊符号、电话号码或时间戳的内容；所述根据第一prompt文本和历史信息文本获取坐席困惑摘要，具体为：获取坐席与用户通话的历史信息文本，根据历史信息文本和第一prompt文本生成第二prompt文本，将第二prompt文本输入大模型获取坐席困惑摘要；步骤S2，具体包括步骤：设计样本prompt，将所述知识信息通过样本prompt输入指令语言模型得到指令微调数据集；根据所述指令微调数据集和模型微调方法对大模型进行微调训练；所述模型微调方法为Freeze方法、P-Tuning方法或Lora方法；步骤S3包括步骤：S31、通过预设规则对知识信息进行分段得到语块段落；S32、获取相似问数据库的数据，使用实体关系抽取模型将所述语块段落和相似问数据库的数据处理为训练数据集，使用训练数据集对大模型进行Embedding训练；所述训练数据集包括相似数据集和非相似数据集；所述相似问数据库是指在搜索问答系统中，存储了与用户问题相似或相关的已有问题的数据库；相似问数据库包含大量高频问题的样本数据，用来进行问题相似度匹配和搜索答案；步骤S31，具体为：通过知识信息的文本子标题进行分段得到若干段落；判断每个段落的段落长度；如果段落长度大于分段阈值，则将句号、问号和叹号作为切分点选取不大于分段阈值个字的片段作为一个语块段落；步骤S4，具体包括步骤：计算用户输入问题的长度，通过分类器获取用户输入问题的业务类型；若所述长度小于第一长度阈值，则匹配所述业务类型的高频问题模板，根据高频问题模板对用户输入问题进行补充作为第一prompt文本；若所述长度大于第一长度阈值，则根据业务类型获取业务实体类型，根据用户输入问题、业务类型和业务实体类型生成第一prompt文本；所述基于大模型的搜索问答方法，还包括步骤：S7、根据用户满意度对大模型进行反馈强化训练；具体包括步骤：S71、通过监督学习训练大模型；S72、对大模型的输出答案进行人工标注，并设计奖励模型；S73、大模型根据奖励模型和PPO算法进行强化训练；所述对大模型进行反馈强化训练，具体为使用Deepspeed-MII库对大模型进行反馈强化训练；所述使用Deepspeed-MII库对大模型进行反馈强化训练，包括：使用8位或4位的量化方式进行大模型量化；使用张量并行技术加速大模型在多GPU上的推理；通过网络剪枝去除不重要的模型权重或连接，以减小模型大小且保持模型容量；通过批量处理一次性加载大模型的模型参数，使用模型参数处理多个输入序列；通过全分片数据并行分布式策略使用多个GPU设备执行推理。

全文数据：

权利要求：

百度查询： 天讯瑞达通信技术有限公司 一种基于大模型的搜索问答方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD