申请/专利权人：百度(美国)有限责任公司

申请日：2020-09-28

公开（公告）日：2024-04-26

公开（公告）号：CN113222102B

主分类号：G06N3/0464

分类号：G06N3/0464;G06N3/0495;G06N3/08

优先权：["20200206 US 16/784,223"]

专利状态码：有效-授权

法律状态：2024.04.26#授权;2021.08.24#实质审查的生效;2021.08.06#公开

摘要：实施方式涉及AI模型的张量的量化的优化系统和方法。根据一个实施方式，系统接收具有一个或多个层的AI模型。系统接收大量用于离线推理的输入数据，并基于输入数据将离线推理应用于AI模型，以生成AI模型的离线数据分布。系统基于离线数据分布对AI模型的一个或多个张量进行量化，以生成低位表示AI模型，其中AI模型的每个层都包含一个或多个张量，其中一个或多个张量包括激活、权重或偏差张量。在一个实施方式中，系统使用低位表示AI模型应用在线推理，以生成用于特征图的在线数据分布，并基于在线数据分布来量化特征图张量。

主权项：1.计算机实施的用于神经网络模型量化的方法，其特征在于，所述方法包括：通过至少一个处理器，接收具有一个或多个层的训练过的AI模型；通过所述至少一个处理器，接收用于离线推理的第一输入数据；通过所述至少一个处理器，基于所述第一输入数据将离线推理应用于所述训练过的AI模型，以生成所述训练过的AI模型的离线数据分布；识别所述离线数据分布中的异常点；去除预定数量的所识别出的异常点以生成更新的离线数据分布；以及通过所述至少一个处理器，基于所述更新的离线数据分布来量化所述训练过的AI模型的一个或多个张量，以生成低位表示AI模型，其中所述AI模型的每个层包括所述一个或多个张量，其中所述一个或多个张量包括激活、权重或偏差张量，所量化的张量信息作为模型块存储于存储器中。

全文数据：

权利要求：

百度查询： 百度(美国)有限责任公司 用于神经网络模型量化的优化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD