西安电子科技大学王树龙获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安电子科技大学申请的专利一种基于脉动阵列自注意力机制的实现系统及方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116187407B 。
龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310215066.1,技术领域涉及:G06N3/063;该发明授权一种基于脉动阵列自注意力机制的实现系统及方法是由王树龙;刘伯航;曹宪法;李宇航;陈栋梁;李嘉睿;潘锦斌设计研发完成,并于2023-03-08向国家知识产权局提交的专利申请。
本一种基于脉动阵列自注意力机制的实现系统及方法在说明书摘要公布了:一种基于脉动阵列自注意力机制的实现系统及方法,系统包括:预处理单元:对输入矩阵进行处理并传输,PE计算单元:对处理后的数据进行缓存、乘法运算、累加操作,输出乘加结果,脉动阵列:乘加结果进行横向和纵向传递,重复上述操作,直至完成乘加计算;矩阵乘法计算单元:获得矩阵和K矩阵的乘积矩阵;自注意力机制模块:获得模块输出AttentionQ、K、V;方法是一种基于脉动阵列自注意力机制的实现系统的应用;本发明通过利用带反馈机制的PE计算单元组成脉动阵列模块,同时采用并行输入的方式,应用于自注意力机制算法,实现了自注意力机制的硬件计算设计,具有提高脉动阵列的计算带宽、在高计算带宽的同时实现较高的计算准确度,提高工作效率的特点。
本发明授权一种基于脉动阵列自注意力机制的实现系统及方法在权利要求书中公布了:1.一种基于脉动阵列自注意力机制的实现系统,其特征在于,包括: 预处理单元:对数据输入行方向矩阵数据data1和输入列方向矩阵数据data2进行处理,得到错位排列后的行向量数据data3和列向量数据data4,将行向量数据data3和列向量数据data4传输到PE计算单元中; PE计算单元:把预处理单元中得到的数据data3缓存在缓存cache1中,预处理单元中得到的数据data4缓存在缓存cache2中,把缓存在缓存cache1中的数据data3和缓存在缓存cache2中数据data4通过乘法器进行乘法运算得到数据data5,然后把数据data5传输到缓存cache3中缓存,同时缓存cache3发出一个反馈信号至缓存cache1和缓存cache2中,判断数据data3和数据data4传输是否完成,若完成则将数据data5传输到加法器中与上一个PE计算单元加法器中的数据进行相加得到数据data6,若未完成则等待数据data3和数据data4传输完成后再进行乘法计算得到数据data5,并将计算结果数据data5传输到加法器中与上一个PE计算单元加法器中的数据进行相加得到数据data6,数据data6传输至下一个PE计算单元中的加法器中,在下一个时钟周期到来的时候把数据data3和数据data4按照行方向和列方向传递至下一个PE计算单元的行输入端dim1和列输入端dim2中,重复以上操作; 脉动阵列:由多个PE计算单元构成,对PE计算单元输出的乘加结果进行横向和纵向传递,不断重复上述操作,直至完成矩阵内全部元素的乘加计算; 矩阵乘法计算单元:将矩阵Q和矩阵K经过数据整形模块利用脉动阵列进行计算,将这个计算结果通过数据整形单元后,输入缓存cache3中缓存,缓存的结果通过数据输出模块输出,得到Q矩阵和K矩阵的乘积矩阵; 自注意力机制模块:将输入矩阵Q和输入矩阵K通过预加载单元和矩阵乘法计算单元得到乘积矩阵,然后通过SoftMax计算单元将乘积矩阵进行归一化计算,得到数据SoftMaxQ,K,将得到的数据SoftMaxQ,K与输入矩阵V通过矩阵乘法计算单元进行矩阵乘法计算,得到数据AttentionQ、K、V,通过数据输出模块输出数据AttentionQ、K、V。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安电子科技大学,其通讯地址为:710071 陕西省西安市雁塔区太白南路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。