龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：清华大学
申请日：2024-03-13
公开（公告）日：2024-05-14
公开（公告）号：CN118036772A
主分类号：G06N20/00
分类号：G06N20/00
优先权：
专利状态码：在审-实质审查的生效
法律状态：2024.05.31#实质审查的生效;2024.05.14#公开
摘要：本申请提供了一种基于One‑Shot权重耦合学习的无重训练模型量化方法，涉及人工智能技术领域，包括：在训练阶段对权重共享模型进行训练，计算权重共享模型在所述混合精度量化策略下的不稳定权重标准集，按照不稳定权重标准的大小顺序对不同层的最小比特宽度进行冻结，并训练未进行冻结的比特宽度，得到无需重训练的权重共享模型，在搜索阶段以双向贪婪搜索方式单独对每一层的比特宽度进行迭代调整，并计算临时策略的计算量，直至满足计算量C，得到最终混合精度量化策略，确定出的最终混合精度量化策略无需进行重训练，并且能够平衡精度和计算效率，确定出最终混合精度量化策略，提高了将最终混合精度量化策略部署到目标设备时的部署效率。
主权项：1.一种基于One-Shot权重耦合学习的无重训练模型量化方法，其特征在于，所述方法包括：依次执行训练阶段和搜索阶段；所述训练阶段的步骤包括：计算所述权重共享模型的不稳定权重标准集其中，所述不稳定权重标准集中的第l个不稳定权重标准表示：所述权重共享模型的第L层的权重的比特宽度的舍入误差，l的取值是0至L-1，L是权重共享模型的总层数；按照不稳定权重标准从大到小的顺序，冻结不稳定权重标准排在前K的K层的权重的最小比特宽度，并对未被冻结的各个层的权重的比特宽度进行训练，以更新权重共享模型的各个权重，K小于L；重复上述步骤，直到训练轮次为T，得到无需重训练的权重共享模型；所述搜索阶段的步骤包括：以双向贪婪搜索方式，持续迭代调整步骤，直到临时策略的计算量小于等于C，将计算量小于等于C的临时策略作为最终混合精度量化策略S*，以使所述计算量和精度之间权衡，所述调整步骤用于：调整所述无需重训练的权重共享模型的单层的权重的比特宽度，得到所述临时策略
全文数据：
权利要求：
百度查询： 清华大学 基于One-Shot权重耦合学习的无重训练模型量化方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号