龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京百度网讯科技有限公司
摘要：本公开提供了一种基于大模型技术的模型服务提供方法、平台及电子设备，涉及计算机技术领域，尤其涉及大模型技术领域。具体实现方案为：创建待部署的第一服务模型的第一模型实例；为第一模型实例分配推理服务；调用第一模型实例所分配的推理服务的加载接口，为所分配推理服务中封装的基座模型挂载第一服务模型的权重文件；响应于针对目标服务模型的用户请求，从目标服务模型的模型实例中，确定用于响应用户请求的目标模型实例；调用目标模型实例被分配的目标推理服务，以使用所配置计算资源，在目标模型实例中运行挂载目标权重文件后的基座模型，获得用户请求的请求结果。应用本公开实施例提供的模型服务提供方案能够有效利用计算资源。
主权项：1.一种基于大模型技术的模型服务提供方法，包括：创建待部署的第一服务模型的第一模型实例，所述第一服务模型为基于基座模型生成的大模型；为第一模型实例分配推理服务，所述推理服务为：对所述基座模型进行封装得到的服务，每一推理服务配置有独立的计算资源；调用第一模型实例所分配的推理服务的加载接口，为所分配推理服务中封装的基座模型挂载所述第一服务模型的权重文件；响应于针对目标服务模型的用户请求，从所述目标服务模型的模型实例中，确定用于响应所述用户请求的目标模型实例；调用目标模型实例被分配的目标推理服务，以使用所配置计算资源，在所述目标模型实例中运行挂载目标权重文件后的基座模型，获得所述用户请求的请求结果，所述目标权重文件为所述目标服务模型的权重文件。
全文数据：
权利要求：
百度查询： 北京百度网讯科技有限公司 基于大模型技术的模型服务提供方法、平台及电子设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号