恭喜微软技术许可有限责任公司D·洛获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜微软技术许可有限责任公司申请的专利具有异常块浮点的神经网络激活压缩获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN113273082B 。
龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:201980087238.3,技术领域涉及:H03M7/24;该发明授权具有异常块浮点的神经网络激活压缩是由D·洛;A·费尼沙耶;E·S·钟;赵一人;R·赵设计研发完成,并于2019-12-16向国家知识产权局提交的专利申请。
本具有异常块浮点的神经网络激活压缩在说明书摘要公布了:公开了用于使用具有异常值的经量化精度数据格式训练神经网络加速器的装置和方法,并且具体地,公开了用于以压缩格式存储来自神经网络的激活值以供在神经网络的前向和后向传播训练期间使用。在所公开的技术的某些示例中,计算系统被配置为执行针对神经网络的层的前向传播以产生第一块浮点格式的第一激活值。在一些示例中,由前向传播生成的激活值被压缩器转换为比第一块浮点格式具有更窄的数值精度的第二块浮点格式。包括尾数和或指数的附加位的异常值被存储在用于激活值的子集的辅助存储装置中。压缩的激活值被存储在存储器中,其中压缩的激活值可以被取回以供在后向传播期间使用。
本发明授权具有异常块浮点的神经网络激活压缩在权利要求书中公布了:1.一种计算系统,包括:至少一个硬件处理器、耦合到所述至少一个硬件处理器的至少一个存储器、以及被配置为执行操作的计算机可读指令或硬件实现的逻辑,所述操作包括:在神经网络中,为一组输入训练数据值产生第一浮点格式的多个第一激活值;确定所述多个第一激活值的至少一部分中的一个或多个异常激活值,其中与所述多个第一激活值的所述至少一部分中的非异常激活值相比,异常激活值具有附加精度位;将所述第一浮点格式的所述多个第一激活值的所述至少一部分转换为第一块浮点格式,其中所述第一块浮点格式使用第一共享公共指数,所述转换提供所述第一块浮点格式的所述多个第一激活值中的至少一个第一非异常激活值和所述第一块浮点格式的所述多个第一激活值的所述至少一部分中的所述一个或多个异常激活值的至少一个第一异常激活值;利用异常量化器,使用第二共享公共指数将所述多个第一激活值的所述至少一部分中的所述一个或多个异常激活值中的所述至少一个第一异常激活值的所述附加精度位转换为第二块浮点格式,其中所述第二共享公共指数独立于所述第一共享公共指数而被选择,从而产生第二激活值;以所述第一块浮点格式存储所述至少一个第一非异常激活值、以所述第一块浮点格式存储所述至少一个第一异常激活值和以所述第二块浮点格式存储所述至少一个第一异常激活值的所述附加精度位,以提供存储的压缩激活值;以及在反向传播期间,从所述存储的压缩激活值,生成与所述至少一个第一非异常激活值和所述至少一个第一异常激活值相对应的未压缩激活值。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人微软技术许可有限责任公司,其通讯地址为:美国华盛顿州;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。