龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：南京工程学院
申请日：2024-03-20
公开（公告）日：2024-06-21
公开（公告）号：CN118227840A
主分类号：G06F16/901
分类号：G06F16/901;G06F16/23;G06F16/25;G06N3/048;G06N3/0495;G06N3/045
优先权：
专利状态码：在审-公开
法律状态：2024.06.21#公开
摘要：本发明提出了一种用于激活函数量化后的多段非线性查找表构建方法和装置，包括：对数据范围的存储数据进行均匀采样，并计算各个采样点的斜率与曲率数据；确定分段的关键点；根据输入数据从小到大的顺序生成所有可能输入的定点数，并存放在候选数组内；通过关键点，确定每一段的数据范围，更新临时表；按照量化规则将临时表中的表项转换为整型数，存入真正的查找表中，同时存储转换时使用的量化参数和输出对齐参数。本发明可以有效提升Softmax函数在量化网络中的运行速度。
主权项：1.一种用于激活函数量化后的多段非线性查找表构建方法，其特征在于，所述多段非线性查找表构建方法包括以下步骤：S1，对数据范围-xrange，xrange的存储数据进行均匀采样，并计算各个采样点的斜率与曲率数据；S2，确定分段的关键点，确定过程包括以下子步骤：设表内存储的函数值为任意函数，神经网络的激活函数一般为单调递增函数；首先遍历每一个除边界以外的可表示的定点数作为候选关键点，并计算每一个候选关键点的量化误差，再选取效果最好的N-1个点作为关键点；N表示分段的个数；S3，根据输入数据从小到大的顺序生成所有可能输入的定点数，并存放在候选数组内；S4，通过关键点，确定每一段的数据范围，对每一段数据范围，执行以下操作：S41，提取候选数组中符合该数据范围的连续元素的起点和终点，将起点处元素对应的整型数存入ranges数组，用于后续的查询；S42，计算放缩因子m，同时用计算出的放缩因子m和输入的量化参数scaleinput更新量化粒度scale；S43，根据放缩因子m，计算符合当前范围的候选数组内的、最小的输入数据的插值系数p，用插值系数p对齐局部表中的第一个表项；S44，以局部表中的第一项为基准点，按照更新后量化粒度scale的间隔大小计算后续的表项，并将计算出的表项更新到临时表Y的相应位置中；S5，按照量化规则将临时表Y中的表项转换为整型数，存入真正的查找表table中，同时存储转换时使用的量化参数scaley和输出对齐参数k。
全文数据：
权利要求：
百度查询： 南京工程学院 一种用于激活函数量化后的多段非线性查找表构建方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号