买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜小哆智能科技(北京)有限公司申请的专利一种基于轻量级大模型的智能问答系统的构建方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119721262B 。

龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510228393.X，技术领域涉及：G06N5/04；该发明授权一种基于轻量级大模型的智能问答系统的构建方法及装置是由张晓波设计研发完成，并于2025-02-28向国家知识产权局提交的专利申请。

本一种基于轻量级大模型的智能问答系统的构建方法及装置在说明书摘要公布了：本申请提供一种基于轻量级大模型的智能问答系统的构建方法及装置，其中，对接收的自然语言问题进行解析处理，得到用户的查询意图；对预先构建的知识图谱进行定位处理，得到与自然语言问题相关的知识节点集合；对轻量级大模型的内部参数配置进行动态调整处理，生成优化后的轻量级大模型；进行答案生成处理，得到自然语言问题对应的答案文本；对于未达到预设质量标准的答案文本，触发二次查询流程，或提示用户修改问题描述。本申请提供的技术方案能够提高问答系统的响应速度、准确性以及适应不同知识领域的灵活性。

本发明授权一种基于轻量级大模型的智能问答系统的构建方法及装置在权利要求书中公布了：1.一种基于轻量级大模型的智能问答系统的构建方法，其特征在于，包括： 对接收的自然语言问题进行解析处理，得到用户的查询意图及所述自然语言问题所属的知识领域； 根据所述查询意图，运用所述知识领域对应的适应性算法和基于深度强化学习的选择机制，对预先构建的知识图谱进行定位处理，得到与所述自然语言问题高度相关的知识节点集合； 基于所述知识节点集合，激活所述轻量级大模型中的自适应上下文理解机制，采用渐进式参数微调方案、注意力机制和记忆网络，对所述轻量级大模型的内部参数配置进行动态调整处理，生成优化后的轻量级大模型； 利用优化后的轻量级大模型，并结合由对抗生成网络提供的多样化表达建议的方法，配合序列到序列架构和束搜索解码策略，进行答案生成处理，得到所述自然语言问题对应的答案文本； 对所述答案文本进行质量检查处理，对于未达到预设质量标准的答案文本，触发二次查询流程，或提示所述用户修改问题描述，以确保所述答案文本满足所述预设质量标准; 所述生成优化后的轻量级大模型的过程包括：对所述知识节点集合的相关性评分进行转换处理，得到能够捕捉所述知识节点集合的知识节点向量表示；根据所述知识节点向量表示，采用渐进式参数微调方案，对所述轻量级大模型中的参数进行所述动态调整处理，得到初步优化模型；引入所述注意力机制，对所述初步优化模型进行增强处理，并基于记忆网络，将所述初步优化模型进一步优化处理，确保所述初步优化模型在生成答案文本时能够检索并利用所述知识节点集合，得到所述优化后的轻量级大模型； 其中，所述根据所述知识节点向量表示，采用渐进式参数微调方案，对所述轻量级大模型中的参数进行所述动态调整处理，得到初步优化模型，包括： 利用所述知识节点向量表示作为输入，通过分阶段的评估机制，对所述轻量级大模型参数进行初始状态分析处理，得到所述轻量级大模型参数的状态快照；其中，所述轻量级大模型参数的状态快照通过以下公式计算得到： ； 其中，是所述轻量级大模型参数的状态快照，是轻量级大模型参数，是知识节点向量表示，是损失函数对参数的梯度，是Hessian矩阵，用于捕捉二阶导数信息； 根据所述状态快照，确定需要重点调整的所述轻量级大模型中的参数集合并为每个需要重点调整的所述轻量级大模型中的参数设定一个微调步长和方向，生成渐进式微调计划；其中，所述轻量级大模型中的参数集合、微调步长和方向通过以下公式计算得到： ； ； ； 其中，是所述轻量级大模型中的参数集合，是第个参数的微调步长，是方向，是损失函数，表示轻量级大模型中的单个参数，是初始学习率，是历史梯度权重，是第次迭代的历史梯度加权系数，是Hessian矩阵的影响因子，用于增强梯度方向，是损失函数对参数的偏导数，衡量参数对损失的影响，是Hessian矩阵对角线元素的倒数，用于调节梯度的重要性，是Hessian矩阵与梯度的点积的方向，用于增强梯度方向，损失函数对第个参数的偏导数，从第1次迭代到第次迭代的历史梯度信息的累积； 基于所述渐进式微调计划，对需要调整的所述轻量级大模型中的参数进行小幅度、多轮次的迭代更新处理，并在每一轮迭代更新处理后都对所述轻量级大模型性能变化进行评估处理，得到优化后的中间模型； 引入自适应学习率调整机制，根据所述优化后的中间模型的性能反馈，自动调整所述渐进式微调计划的学习速率，确保所述优化后的中间模型参数调整的速度与精度之间的平衡处理，得到调整结果； 通过累积所述调整结果，对所有所述优化后的中间模型进行筛选处理，最终选择性能最稳定的所述优化后的中间模型作为所述初步优化模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人小哆智能科技(北京)有限公司，其通讯地址为：100080 北京市海淀区西北旺东路10号院23号楼三层346室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。