龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：北京大学
申请日：2024-01-10
公开（公告）日：2024-06-11
公开（公告）号：CN118171635A
主分类号：G06F40/146
分类号：G06F40/146;G06F40/126;G06F40/205;G06N5/01;G06N5/04
优先权：
专利状态码：在审-实质审查的生效
法律状态：2024.06.28#实质审查的生效;2024.06.11#公开
摘要：本发明提供一种基于词元树早期剪枝的自回归模型并行解码方法，属于深度学习领域。本发明首先进行并行解码头的训练，使用并行解码块对于后续位置进行预测，然后使用早期剪枝算法对词元树中的不合理的分支进行修剪，最终通过自回归解码头对词元树中所有节点进行验证。采用本发明可以提升解码效率。
主权项：1.一种基于词元树早期剪枝的自回归模型并行解码方法，其具体步骤包括：步骤1：给定自回归的大语言模型M，训练m个预测后续位置的并行解码头pd1，...，pdm；步骤2：给定自回归的大语言模型M，训练早期层的解码头ed；步骤3：在推理流程中，将输入的单条数据记作seq，计算输入数据通过模型的输出h＝Mseq[-1，：]，将模型的自回归解码头记作ad，计算对下一个词元的概率分布adh和后续m个位置输出概率分布的预测pd1h，...，pdmh；步骤4：构建一个词元树T，每个树节点代表一个潜在的词元选择，树的每一层对应一个并行解码头的输出，根节点表示当前生成的序列，子节点表示在此基础上可能的下一个词元；步骤5：在词元树T的验证过程中，使用线性列表存储树结构，通过遍历词元树并将每个节点按照广度优先的顺序存入一个列表来实现线性存储树；步骤6：在词元树T的构建和推理过程中，在模型M计算完成n个transformer块的输出后，立即对词元树进行剪枝处理，其中n≥3；步骤7：使用大模型M对词元树T进行计算，获得每个节点对应的隐藏层输出，并行验证每一个候选序列中的每一个词元，并最终选出具有最长接受长度的序列，记作acc_seq，如果[EOF]∈acc_seq，即产生了结束字符，则代表结束生成任务，返回所有输出结果，否则，进入步骤4重复进行，直到结束生成任务。
全文数据：
权利要求：
百度查询： 北京大学 一种基于词元树早期剪枝的自回归模型并行解码方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号