买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安交通大学

摘要：公开了基于奇偶性对数量化的无乘法深度神经网络模型压缩方法，方法中，首先根据预定比特位宽bit构建整型数值集合V，其元素可以表示为2的奇数幂和2的偶数幂的和，然后将浮点数据根据量化系数量化为低比特整型数据，接着再反量化得到浮点离散数据，进一步可构建低比特纯整型无乘法的深度神经网络，将卷积层和全连接层计算中大量存在的输入数据与权重参数的乘法计算替换成移位操作和加法计算。

主权项：1.一种基于奇偶性对数量化的无乘法深度神经网络模型压缩方法，其包括以下步骤：第一步骤，采集数据，其中，采集数据包括形成待量化的浮点模型及其训练集，准备将要量化的浮点模型及其在ImageNet上训练完成的参数，根据分配给各参数的比特位数 B构建整型数值集合V，位表示2的偶数幂，位表示2的奇数幂，剩下1位表示符号位，得到，其中，m=2k,k，n=2k+1,k；第二步骤，将浮点数据根据量化系数映射为整型数据，T表示任意待量化的浮点张量，C表示所述浮点张量的动态范围：C=MaxAbsT，求得缩放系数为：，量化得到整型张量：，其中，Round函数将输入数据取整到距离最近的V中的整型数值，Clip函数将输入数据截断在和之间；第三步骤，将整型数据根据量化系数映射为离散的浮点数据，，为经过量化再反量化后得到的用于近似浮点张量T的离散数据，用与T的均方误差表示量化误差：，其中Numel函数返回输入的元素总数；第四步骤，利用所述第一步骤至第三步骤实现低比特无乘法深度神经网络，卷积计算，其中，conv表示卷积计算，XY表示输入输出浮点数据，WB表示权重偏置浮点参数，XYWB进行量化和反量化得到离散数据，用来近似卷积计算：，所述近似卷积计算等价变换成纯整型卷积计算公式：，并且将卷积计算中的输入数据与权重参数的乘法计算替换成移位操作和加法计算；其中，两个移位器和一个加法器替换一个乘法器以实现无乘法的卷积运算；或者，四个加法器替换一个乘法器以实现无乘法的卷积运算；其中，用成本较低的移位器和加法器替代了成本更高的乘法器，所述方法不仅很好地解决传统均匀量化整型数据分布和浮点数据分布不一致的问题，还克服了普通对数量化数值分布太过离散表达能力较低的弊端，从而极大地降低了量化误差，提高了低bit神经网络的准确性，适用于深度神经网络中常见的卷积Convolution和全连接Fully-Connected依赖密集的矩阵乘法计算的算子；所述方法应用在ImageNet大规模分类任务。

全文数据：

权利要求：

百度查询： 西安交通大学 基于奇偶性对数量化的无乘法深度神经网络模型压缩方法