龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：派欧云计算(上海)有限公司
摘要：本发明公开了一种基于草稿模型和多数投票的低延时大模型推理方法及系统，包括：收集用户问答请求，将用户问答请求转换为前缀序列，构建三元组；构建若干个草稿模型，每个草稿模型均至少包括一个三元组编码器和一个上下文编码器；将三元组分别输入每个草稿模型中，基于所有词元的三元组和问答模型的中间隐藏状态获取每个词元的特征编码文本；基于特征编码文本构建文本序列选择决策树，同时基于每个草稿模型的权重计算文本序列选择决策树中每个节点的权重，基于多数投票者机制选取最优的特征编码文本，问答模型基于最优的特征编码文本对用户问答请求进行处理。本发明利用多个草稿模型共同推测输出，提高了推理性能，显著降低了维护成本和复杂度。
主权项：1.一种基于草稿模型和多数投票的低延时大模型推理方法，其特征在于，包括如下步骤：S1，收集用户问答请求，利用问答模型将用户问答请求转换为前缀序列，构建前缀序列中每个词元的三元组；S2，构建若干个草稿模型，每个草稿模型均至少包括一个三元组编码器和一个上下文编码器，上下文编码器的输入端用于接收三元组编码器的输出和问答模型的中间隐藏状态，上下文编码器的输出端与问答模型解码器的输入端连接，三元组编码器的输入端用于接收所有词元的三元组；S3，将步骤S1得到的三元组分别输入步骤S2得到的草稿模型中，每个草稿模型分别基于所有词元的三元组和问答模型的中间隐藏状态获取每个词元的特征编码文本；S4，基于步骤S3得到的特征编码文本构建文本序列选择决策树，同时基于每个草稿模型的权重计算文本序列选择决策树中每个节点的权重，基于多数投票者机制选取最优的特征编码文本，问答模型基于最优的特征编码文本对用户问答请求进行处理。
全文数据：
权利要求：
百度查询： 派欧云计算(上海)有限公司 基于草稿模型和多数投票的低延时大模型推理方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号