买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州浪潮智能科技有限公司

摘要：本申请公开了一种深度学习模型推理方法、系统、设备及计算机介质，确定目标深度学习模型中各通道的通道量化参数；根据目标深度学习模型中通道与模型分支间的关系，基于通道量化参数确定模型分支的分支量化参数；基于分支量化参数对目标深度学习模型进行量化，得到量化后深度学习模型；基于量化后深度学习模型进行推理，得到推理结果。本申请中，确定了目标深度学习模组中各个通道的通道量化参数，实现了细粒度的量化参数确定，并基于通道量化参数确定模型分支的分支量化参数，基于量化后深度学习模型进行推理，得到推理结果，实现了基于细粒度的通道量化参数进行深度学习模型推理，提高了深度学习模型的推理精度。

主权项：1.一种深度学习模型推理方法，其特征在于，包括：确定目标深度学习模型中各通道的通道量化参数；根据所述目标深度学习模型中通道与模型分支间的关系，基于所述通道量化参数确定所述模型分支的分支量化参数；基于所述分支量化参数对所述目标深度学习模型进行量化，得到量化后深度学习模型；基于所述量化后深度学习模型进行推理，得到推理结果；其中，所述目标深度学习模型包括为CPU、GPU与专用加速器设计的开源深度学习编译器，用于连接关注于丰富性的深度学习框架与关注于性能或效率的硬件后端；其中，所述确定目标深度学习模型中各通道的通道量化参数，包括：确定所述目标深度学习模型的所述通道的绝对极大值；基于所述通道的所述绝对极大值确定所述通道对应的所述通道量化参数；其中，所述基于所述通道量化参数确定所述模型分支的分支量化参数，包括：若两个所述通道量化参数均为标量，则将值较小的所述通道量化参数作为所述模型分支的所述分支量化参数；若两个所述通道量化参数均为向量，则逐通道对比两个所述通道量化参数，并将两个所述通道中均较小的所述通道量化参数作为所述模型分支的所述分支量化参数；若两个所述通道量化参数分别为标量和向量，则将向量的所述通道量化参数的元素与标量的所述通道量化参数的和值作为所述模型分支的分支量化参数的对应元素，以得到所述分支量化参数；若两个所述通道的量化参数既非向量也非标量，则将有卷积操作的所述通道的所述通道量化参数作为所述模型分支的所述分支量化参数。

全文数据：

权利要求：

百度查询： 苏州浪潮智能科技有限公司 一种深度学习模型推理方法、系统、设备及计算机介质