首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于复述质量优化的大语言模型数学推理方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:杭州电子科技大学

摘要:本发明涉及一种基于复述质量优化的大语言模型数学推理方法,通过高质量的问题复述提升大语言模型的数学推理能力,本方案融合了多指标评分与成对比较两个模块:前者从六个角度出发,通过实验确定最佳的提示方式,利用大语言模型对复述质量进行单指标打分;后者则依据复述的综合质量,使用大语言模型进行复述间的相对排名,最终训练一个梯度提升决策树分类模型,将多指标评分模块的得分以及成对比较模块的相对关系作为特征输入,决策并挑选最佳复述。本发明提供了一种使用大语言模型进行复述质量评估通用的评价框架,有效地提升了模型在数学问题上的表现。

主权项:1.一种基于复述质量优化的大语言模型数学推理方法,其特征在于:包括以下步骤:步骤一:从数据集中选取一个数学问题,构建提示,并利用LLM生成多条复述;步骤二:设定连贯性、一致性、流畅性、相关性、匹配性和逻辑性共六个评估指标,用于复述质量评估;通过实验为各指标设置不同的提示方式,发挥各指标的评估性能;步骤三:结合步骤二中的六个指标及其对应的提示方式,使用LLM分别对各复述进行多指标评分,并将输出token的概率均值作为得分;步骤四:使用LLM对所有复述进行成对比较,通过多次对比累计积分的方式,得到复述之间的相对关系;步骤五:训练一个分类器作为决策模型,包含如下过程:对训练集进行数据预处理,筛选存在最佳复述的样本;使用上述样本执行步骤一到步骤四,获取模型的输入特征和标签;选用梯度提升树算法实现分类任务,并使用XGBoost训练得到分类器,实现最终决策;步骤六:将步骤三多指标评分后的得分与步骤四成对比较后的积分输入训练完的决策模块,得到决策结果,将其选定为最佳复述;步骤七:使用筛选出的最佳复述结合原问题作为Prompt,以零样本思维链结合自一致性检查的方式输入给GPT-3.5以获得问题答案。

全文数据:

权利要求:

百度查询: 杭州电子科技大学 一种基于复述质量优化的大语言模型数学推理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术