龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：上海后摩集成电路有限公司
摘要：本公开提供了一种基于注意力机制的文本生成方法、装置和模型，通过获取当前片段的键张量、值张量和查询张量，将键张量以覆盖输入序列对应的历史键缓存中预设无效值的方式写入键缓存单元中，得到当前键缓存，将值张量以覆盖输入序列对应的历史值缓存中预设无效值的方式写入值缓存单元中，得到当前值缓存，其中，历史键缓存、历史值缓存、当前键缓存和当前值缓存的尺寸均为预设缓存尺寸，然后，基于当前键缓存、当前值缓存和查询张量进行注意力计算，得到当前片段对应的输出片段，由此，可以准确预测文本生成过程对存储资源和计算资源的需求量，提高资源管理和调度的效率。
主权项：1.一种基于注意力机制的文本生成方法，其特征在于，包括：获取当前片段的键张量、值张量和查询张量；其中，所述当前片段为输入序列中的一个片段，所述输入序列包括至少一个片段；将所述键张量以覆盖所述输入序列对应的历史键缓存中预设无效值的方式写入键缓存单元中，得到当前键缓存；将所述值张量以覆盖所述输入序列对应的历史值缓存中预设无效值的方式写入值缓存单元中，得到当前值缓存；其中，所述历史键缓存、所述历史值缓存、所述当前键缓存和所述当前值缓存的尺寸均为预设缓存尺寸，所述历史键缓存包括有效键缓存和预设无效值，所述有效键缓存为所述输入序列中位于所述当前片段之前的各历史片段的键张量依次连续存储得到的键缓存或初始键缓存，所述历史值缓存包括有效值缓存和预设无效值，所述有效值缓存为所述输入序列中位于所述当前片段之前的各历史片段的键张量依次联系存储得到的值缓存或初始值缓存；基于所述当前键缓存、所述当前值缓存和所述查询张量进行注意力计算，得到所述当前片段对应的输出片段。
全文数据：
权利要求：
百度查询： 上海后摩集成电路有限公司 基于注意力机制的文本生成方法、装置和模型
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号