龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：蚂蚁科技集团股份有限公司
摘要：一种基于LLM模型的推理计算方法，应用于部署了目标LLM模型的服务设备；其中，基于所述目标LLM模型进行的推理计算包含具有预设的执行顺序的多项子计算；所述方法包括：获取用户通过加密的数据通道上传至所述服务设备搭载的TEE的推理数据；按照所述预设的执行顺序，基于所述目标LLM模型的模型参数矩阵针对所述推理数据依次执行所述多项子计算，以得到与所述推理数据对应的第一推理结果；其中，所述多项子计算包含在所述TEE中执行的至少一项非线性子计算；以及，在所述服务设备搭载的GPU中执行的至少一项线性子计算；所述至少一项线性子计算的输入数据在所述TEE中进行加密处理之后由所述TEE传输至所述GPU。
主权项：1.一种基于LLM模型的推理计算方法，应用于部署了目标LLM模型的服务设备；其中，基于所述目标LLM模型进行的推理计算包含具有预设的执行顺序的多项子计算；所述方法包括：获取用户通过加密的数据通道上传至所述服务设备搭载的TEE的推理数据；按照所述预设的执行顺序，基于所述目标LLM模型的模型参数矩阵针对所述推理数据依次执行所述多项子计算，以得到与所述推理数据对应的第一推理结果；其中，所述多项子计算包含在所述TEE中执行的至少一项非线性子计算；以及，在所述服务设备搭载的GPU中执行的至少一项线性子计算；所述至少一项线性子计算为基于所述目标LLM模型的模型参数矩阵进行的线性的矩阵运算；所述至少一项线性子计算的输入数据在所述TEE中进行加密处理之后由所述TEE传输至所述GPU；所述至少一项线性子计算的计算结果由所述GPU传输给所述TEE，并在所述TEE中进行解密处理。
全文数据：
权利要求：
百度查询： 蚂蚁科技集团股份有限公司 一种基于LLM模型的推理计算方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号