买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江锦智人工智能科技有限公司

摘要：本申请公开了一种基于大语言模型的检索方法、设备及介质，方法包括：确定训练数据，对训练数据进行预处理，并对预处理后的训练数据进行格式转换，以使训练数据的格式为对话结构；对训练数据进行划分，以得到训练集、验证集和测试集，确定预先设置的语言模型，根据划分后的训练数据对语言模型进行模型训练；确定语言模型的超参数，根据超参数对语言模型进行调整，以对语言模型进行优化；通过优化后的语言模型进行检索，以得到检索结果。本申请通过大语言模型的应用，提高对自然语言查询的理解能力，能够更深入地理解用户的查询意图和语义，从而改善搜索结果的精准度和全面性。

主权项：1.一种基于大语言模型的检索方法，其特征在于，包括：确定训练数据，对所述训练数据进行预处理，并对预处理后的所述训练数据进行格式转换，以使所述训练数据的格式为对话结构；对所述训练数据进行划分，以得到训练集、验证集和测试集，确定预先设置的语言模型，根据划分后的所述训练数据对所述语言模型进行模型训练；对所述语言模型进行模型训练，具体包括：根据预先设置的所述语言模型确定模型任务，根据所述模型任务对所述语言模型进行结构调整，以得到模型输出层；确定所述语言模型的模型参数，根据所述模型参数对所述模型输出层进行修改；确定多个所述模型输出层，在多个所述模型输出层中确定预先设置的冻结层，根据所述冻结层确定更新层，并根据所述模型任务对所述更新层对应的所述模型进行更新；确定所述语言模型的超参数，根据所述超参数对所述语言模型进行调整，以对所述语言模型进行优化；通过优化后的所述语言模型进行检索，以得到检索结果；所述超参数包括但不限于学习率、批次、迭代次数；对所述语言模型进行优化之前，所述方法还包括：确定所述语言模型的模型收敛速度、损失曲线平滑度、验证及性能，根据所述模型收敛速度、所述损失曲线平滑度、所述验证集性能对所述学习率进行调整；确定所述语言模型的硬件显存和模型复杂度，根据所述硬件显存和所述模型复杂度确定所述批次的大小；确定所述语言模型的训练周期数，根据所述训练周期数确定所述迭代次数；根据所述验证集确定所述语言模型的错误案例，并根据所述错误案例确定所述语言模型的准确率和召回率；根据所述准确率和所述召回率确定所述语言模型的指标分数，以根据所述指标分数确定所述语言模型的评估等级；通过优化后的所述语言模型进行检索之前，所述方法还包括：通过所述语言模型获取语音信息，对所述语音信息进行格式转换，以得到文本信息，通过所述语言模型确定所述文本信息对应的键值对；根据所述键值对将所述文本信息进行储存，以得到历史查询信息；确定预先设置的过期程序，根据所述过期程序对所述历史查询信息进行更新；将所述训练数据整理成适配模型输入的多轮对话数据格式，多轮对话数据格式的每一轮都包含对话ID、发言者和内容；用户的每一次提问都建立在前面对话内容的基础上；所述语言模型通过考虑上下文信息，并根据用户的问题提供相关的回答；对所述语言模型进行结构调整，跟据预先选择的微调任务，设计与所述微调任务匹配的模型输出层；选择正则化技术减少过拟合，在所述语言模型的隐藏层添加Dropout层，设定Dropout比例；Dropout层在每次前向传播时随机丢弃部分神经元输出；以键-值对的形式存储用户每一次文本信息中的地理信息，作为历史查询信息，其中会话ID作为键，将模型每一次根据文本信息生成的地理信息、关联信息和维度统计信息构成键对应的值；同时，系统设定了时间过期策略，定期对缓存进行清理和维护，以确保最新的历史查询信息能够及时添加到缓存中；在用户发起查询请求时，系统首先检查历史缓存。

全文数据：

权利要求：

百度查询： 浙江锦智人工智能科技有限公司 一种基于大语言模型的检索方法、设备及介质