首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

使用交叉注意力操作来生成数据元素序列 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:渊慧科技有限公司

摘要:用于生成包括在位置序列中的每个位置处的相应数据元素的数据元素序列的方法、系统和装置,其包括在计算机存储介质上编码的计算机程序。在一个方面,方法包括:针对在位置序列中的第一位置之后的每个位置:获得包括在当前位置之前的位置处的每个数据元素的相应数据元素嵌入的数据元素嵌入的当前序列,获得潜在嵌入序列,以及使用神经网络处理:(i)数据元素嵌入的当前序列,以及(ii)潜在嵌入序列,以生成当前位置处的数据元素。神经网络包括神经网络块序列,其包括:(i)交叉注意力块,(ii)一个或多个自注意力块,以及(iii)输出块。

主权项:1.一种由一个或多个计算机执行的方法,所述方法包括:生成数据元素序列,所述数据元素序列包括在位置序列中的每个位置处的相应数据元素,对于所述位置序列中的第一位置之后的每个位置,包括:获得数据元素嵌入的当前序列,所述数据元素嵌入的当前序列包括在当前位置之前的位置处的每个数据元素的相应数据元素嵌入;获得潜在嵌入序列;使用神经网络处理:(i)所述数据元素嵌入的当前序列,以及(ii)所述潜在嵌入序列,以生成在所述当前位置处的所述数据元素,其中,所述神经网络包括神经网络块序列,所述神经网络块序列包括:(i)交叉注意力块,(ii)一个或多个自注意力块,以及(iii)输出块,其中,所述交叉注意力块执行操作,所述操作包括:使用所述数据元素嵌入的当前序列上的注意力来更新所述潜在嵌入序列中的每个潜在嵌入;其中,每个自注意力块执行操作,所述操作包括:使用所述潜在嵌入序列上的注意力来更新所述潜在嵌入序列中的每个潜在嵌入;其中,所述输出块执行操作,所述操作包括:在所述潜在嵌入序列使用所述交叉注意力块和所述一个或多个自注意力块被更新之后,处理来自所述潜在嵌入序列的一个或多个潜在嵌入以生成在所述当前位置处的所述数据元素。

全文数据:

权利要求:

百度查询: 渊慧科技有限公司 使用交叉注意力操作来生成数据元素序列

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术