龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中昊芯英(杭州)科技有限公司
摘要：本申请实施方式提供了一种大型语言模型推理加速方法及相关装置。该方法应用于模型交互网络，模型交互网络包括原始目标模型以及对应的近似模型。该方法包括：采用近似模型生成候选输出序列；近似模型的模型参数少于原始目标模型，并且近似模型与原始目标模型具有相同的模型结构；将多个候选输出序列输入到原始目标模型中，对候选输出序列进行并行评估，以获得多个候选输出序列各自的序列评估结果；基于多个候选输出序列各自的序列评估结果，确定最终输出的目标输出序列。本申请通过引入近似模型实现对原始目标模型的投机采样，提高访存效率和内存访问速度，以加快解码过程并实现更高效的推理。
主权项：1.一种大型语言模型的推理加速方法，其特征在于，应用于模型交互网络，所述模型交互网络包括原始目标模型以及对应的近似模型；所述方法包括：采用所述近似模型生成候选输出序列；所述近似模型的模型参数少于所述原始目标模型，并且所述近似模型与所述原始目标模型具有相同的模型结构；将多个所述候选输出序列输入到所述原始目标模型中，对所述候选输出序列进行并行评估，以获得多个所述候选输出序列各自的序列评估结果；基于多个所述候选输出序列各自的序列评估结果，确定最终输出的目标输出序列；其中，所述将多个所述候选输出序列输入到所述原始目标模型中，对所述候选输出序列进行并行评估，以获得多个所述候选输出序列各自的序列评估结果，包括：将多个所述候选输出序列输入到所述原始目标模型中；所述候选输出序列由多个初始token样本组成；通过所述原始目标模型，对多个所述候选输出序列执行样本推理并行评估，以获得多个所述候选输出序列各自的样本推理评估结果；所述样本推理评估结果用于指示各个所述候选输出序列是否达到预设条件。
全文数据：
权利要求：
百度查询： 中昊芯英(杭州)科技有限公司 大型语言模型推理加速方法及相关装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号