龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国科学技术大学
摘要：本发明提供了一种大模型部署方法及其装置。该方法包括：接收在第N次问答交互时用户输入的待解答问题；基于第一大模型集中每个大模型回答问题的预估准确度，从第一大模型集中筛选K个大模型，得到第二大模型集；在确定缓存中不存在待解答问题，或缓存中存在待解答问题且与待解答问题对应的答案不满足用户需求时，基于调用第二大模型集中大模型各自回答问题时所需消耗的预估资源，对第二大模型集中每个大模型进行排序，得到第三大模型集；按照排序从第三大模型集中依次确定目标大模型，直至目标答案满足用户的需求或第三大模型集中K个大模型输出的目标答案均不满足用户的需求时，停止从第三大模型集中确定目标大模型，完成第N次问答交互。
主权项：1.一种大模型部署方法，其特征在于，所述方法包括：接收在第N次问答交互时用户输入的待解答问题；基于第一大模型集中每个大模型回答问题的预估准确度，从所述第一大模型集中筛选K个大模型，得到第二大模型集，其中，所述第一大模型集是在第N-1次问答交互中确定的，所述预估准确度是基于前N-1次问答交互中所述第一大模型集中每个大模型被调用的次数和被调用后回答问题的答案确定的，K为正整数，且K小于所述第一大模型集中大模型的个数；在确定缓存中不存在所述待解答问题，或在确定所述缓存中存在所述待解答问题且与所述待解答问题对应的答案不满足用户需求的情况下，基于调用所述第二大模型集中大模型各自回答问题时所需消耗的预估资源，对所述第二大模型集中每个大模型进行排序，得到第三大模型集，其中，所述缓存中存储有M个已解答问题和与M个所述已解答问题中每个已解答问题对应的已解答答案，N和M均为正整数，所述预估资源是基于所述前N-1次问答交互中调用所述第二大模型集中每个大模型回答问题时的消耗预估得到的；以及按照排序从所述第三大模型集中依次确定目标大模型，以便将所述待解答问题输入所述目标大模型后输出目标答案，直至所述目标答案满足所述用户的需求或所述第三大模型集中K个所述大模型输出的所述目标答案均不满足所述用户的需求时，停止从所述第三大模型集中确定所述目标大模型，完成所述第N次问答交互。
全文数据：
权利要求：
百度查询： 中国科学技术大学 大模型部署方法及其装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号