买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津大学

摘要：本发明公开了一种基于任务难度评估和级联优化的立法意见审查系统及方法，利用任务难度评估路由模块用于评估立法意见审查处理任务的难度，根据任务难度评估结果自适应选择所述生成语言模型链路中费率低并且模型能力可接受的路径；利用立法意见审查模块对各自适应选择的各自主选择的所述路径下使用预训练LLM模型集合进行立法意见审查；利用立法意见审查生成结果评分模块进行各处理结果评分，判断自适应选择的路径中的LLM模型生成的处理结果是否正确答案。相较于现有技术，本发明实现了立法意见审查任务在处理性能及费率上的双重优化，并且提出了利用预训练大模型对立法意见的紧迫性、必要性、可行性等要点的评估方法。

主权项：1.一种基于任务难度评估和级联优化的立法意见审查系统，其特征在于，包括：生成式语言模型链路以及依序相连的任务难度评估路由模块、立法意见审查模块和立法意见审查生成结果评分模块；所述任务难度评估路由模块用于根据不同的维度对立法意见审查处理任务难度进行分级，评估立法意见审查处理任务的难度，根据任务难度评估结果自适应选择所述生成语言模型链路中费率低并且模型能力可接受的路径；所述生成式语言模型链路包括多级预训练大语言模型LLM1,LLM2,LLM3,...,LLMj构成的级联链路；所述立法意见审查模块用于各自主选择的所述路径下使用预训练大语言模型LLM集合进行立法意见审查，得到立法意见审查生成结果；所述立法意见审查生成结果评分模块用于进行各处理结果评分；所述级联链路中的多级LLM1,LLM2,LLM3,...,LLMj模型在费率和能力上的关系表示如下：费率关系：LLMj模型费率＞...＞LLM3模型费率＞LLM2模型费率＞LLM1模型费率；模型能力强弱关系：LLMj模型能力费率＞...＞LLM3模型能力＞LLM2模型能力＞LLM1模型能力；所述维度包括对话轮次、角色、提示指令的表达方式和其它信息的详细程度：其中，所述对话轮次分为单轮对话和多轮对话，所述角色是对话任务中的每个角色及其职责；所述提示指令的表达方式包括强调询问和强调指示；所述提示指令中给出的详细信息的数量和形式；所述立法意见审查生成结果评分模块中，评分用符号g·,·表示：Q×A→[0,1]，Q表示查询集，A表示真实答案集，给定一个查询q和一个由第i个大语言模型LLMi的API生成的答案fiq，生成一个可靠性评分gq,fiq,评分在区间[0,1]，如果立法意见审查生成评分分数的高于阈值向量集T中的阈值Ti，那么返回该生成结果，否则查询下一个服务；将学习选定列表L和阈值向量T建模为一个约束优化问题，约束优化公式如下式所示： 其中，z表示路由器停止在LLMz,并返回答案，第一个约束确保平均成本受预算限制，并且客观测量查询q与真实答案a相比生成fzq的质量ra,fzq使其最大，ci1表示LLMi的任务输入成本，ci,2表示LLMi的任务输出成本，ci,0表示LLMi的静态成本，b表示期望价格上限，Ti表示设定的分数门限，表示数学期望，L为大语言模型级联构成的模型列表。

全文数据：

权利要求：

百度查询： 天津大学 基于任务难度评估和级联优化的立法意见审查系统及方法