买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学;北京理工大学前沿技术研究院

摘要：本发明公开的一种用于资源受限异构设备的神经网络协同推理方法，属于边缘计算领域。本发明实现方法为：构建针对资源受限异构设备的推理时延预测器，采用贝叶斯优化拆分方法，拆分需要部署推理的原始神经网络模型得到多个适配资源受限异构设备计算性能和硬件资源约束的子模型；使用渐进增强蒸馏方法依次训练所有子模型，将训练好的所有子模型部署到对应的资源受限异构设备上，当接收到推理任务请求时，联合多个空闲的资源受限异构设备并行执行子模型的计算，计算结果通过资源受限设备间的局域网传输到中心节点进行汇聚后得到最终推理结果，节省多资源受限异构设备的计算开销和存储资源，降低多资源受限异构设备的推理时延和能量损耗。

主权项：1.一种用于资源受限异构设备的神经网络协同推理方法，其特征在于：包括以下步骤，步骤一：收集神经网络在每种资源受限异构设备上的推理时延数据，使用每种资源受限异构设备的推理时延数据训练多个推理时延预测器；步骤二：建立资源受限异构设备联合推理时延和精度损失模型，针对每个资源受限异构设备计算性能和硬件资源的约束，设定需要拆分的原始神经网络中可用切分点，建立资源受限异构设备联合推理时延和精度损失最小的优化问题；步骤三：采用贝叶斯优化拆分方法求解资源受限异构设备联合推理精度和时延最小的优化问题，将原始神经网络拆分为适配资源受限异构设备计算性能和硬件资源约束的不同子模型；步骤四：将原始Transformer模型作为监督,使用渐进增强蒸馏算法依次训练步骤三中得到的所有Transformer子模型，帮助Transformer子模型学习原始Transformer模型中丰富的语义特征，提高Transformer子模型的预测精度；步骤五：将步骤四中训练好的所有Transformer子模型部署到对应的资源受限异构设备上，当接收到推理任务请求时，联合多个空闲的资源受限异构设备并行执行Transformer子模型的计算，计算结果通过资源受限设备间的局域网传输到中心节点进行汇聚后得到最终神经网络，利用汇聚后得到的最终神经网络进行协同推理，节省多资源受限异构设备的计算开销和存储资源，降低多资源受限异构设备的推理时延和能量损耗。

全文数据：

权利要求：

百度查询： 北京理工大学 北京理工大学前沿技术研究院 一种用于资源受限异构设备的神经网络协同推理方法