龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：上海无问芯穹智能科技有限公司
摘要：本申请提供一种用于大模型的量化矩阵乘的优化方法、优化设备及可读存储介质。所述优化方法包括：步骤一：获取第一量化数据、掩码数据以及魔数数据，其中所述第一量化数据具有第一精度，并且是基于量化参数对原始数据进行量化后得到的；步骤二：将所述第一量化数据与所述掩码数据以及所述魔数数据进行逻辑运算，得到具有第二精度的第二量化数据，所述逻辑运算包括按位与计算以及按位或计算；步骤三：基于所述第二量化数据和所述量化参数，进行解量化计算，得到解量化数据。基于本用于大模型的量化矩阵乘的优化方法，能够提高量化矩阵乘的计算效率。
主权项：1.一种用于大模型的量化矩阵乘的优化方法，其特征在于，包括以下步骤：步骤一：获取第一量化数据、掩码数据以及魔数数据，其中所述第一量化数据具有第一精度，并且是基于量化参数对原始数据进行量化后得到的；步骤二：将所述第一量化数据与所述掩码数据以及所述魔数数据进行逻辑运算，得到具有第二精度的第二量化数据，所述逻辑运算包括按位与计算以及按位或计算；步骤三：基于所述第二量化数据和所述量化参数，进行解量化计算，得到解量化数据。
全文数据：
权利要求：
百度查询： 上海无问芯穹智能科技有限公司 用于大模型的量化矩阵乘的优化方法、优化设备及可读存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号