买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海熠知电子科技有限公司

摘要：本发明提供了一种深度学习算力虚拟化方法，包括：深度学习虚拟化平台统计业务请求到达的形态和规律，根据业务请求到达的形态和规律，智能预控制整个深度学习服务器集群的状态、以及预设置整个深度学习服务器集群的参数，以应付对该业务请求的形态和规律的预测；以及深度学习虚拟化平台将业务请求下发至深度学习服务器时，进一步明确处理延时的要求和吞吐率的要求。

主权项：1.一种深度学习算力虚拟化方法，其特征在于，包括：深度学习虚拟化平台统计业务请求到达的形态和规律，根据业务请求到达的形态和规律，智能预控制整个深度学习服务器集群的状态、以及预设置整个深度学习服务器集群的参数，以应付对该业务请求的形态和规律的预测；以及深度学习虚拟化平台将业务请求下发至深度学习服务器时，进一步明确处理延时的要求和吞吐率的要求，其中所述业务请求到达的形态和规律包括：单流类业务请求，其业务请求以流的形式到达，且单次到达的样本数为1；多流类业务请求，其业务请求以流的形式到达，且单次到达多个样本；服务器类业务请求，业务请求随机到达；以及离线类业务请求，其所有业务请求和样本数据均批量到达；各类业务请求对运算完成时限的敏感度排序为：单流类业务请求和多流类业务请求大于服务器类业务请求，服务器类业务请求大于离线类业务请求，在单流类业务请求和多流类业务请求的应用场景下，深度学习虚拟化平台根据预先的业务设定情况，使得各深度学习服务器的调度按照既定策略进行静态分配，定期跟踪业务设定情况的变化；预先的业务设定情况包括：各业务请求到达的间隔时间，预期需要完成业务请求的时限要求，单次到达的样本数量，以及需加载的模型实例种类；所述既定策略包括：根据业务设定情况，一次性将所需的计算资源静态分配给各业务请求使用，并定时跟踪计算资源的耗用情况及运算完成的时限情况，如果出现业务未按照规律抵达或计算资源耗用异常，则作为故障上报，在服务器类业务请求的应用场景下，实时统计业务到达的具体情况、以及待处理任务的队列长度，得到业务到达规律的统计结果；根据对业务到达规律的统计结果在底层计算硬件上采用动态方式加载模型实例，以加强并行处理能力，减少队列等候时间，以最经济的方式分配计算资源，同时使已分配的计算资源利用率最大化；当针对某模型实例的计算请求等候队列的任务数量大于第一阈值且持续时间超出第二阈值，则从底层计算硬件上多加载1个模型实例，若任务数量持续大于第一阈值，则继续加载模型实例，直至恢复到正常业务吞吐水平；当针对某模型实例的计算请求等候队列的任务数量小于第三阈值且持续时间超出第四阈值，则从底层计算硬件上释放1个模型实例，若任务数量持续小于第三阈值，则逐步减少模型实例，直至在正常业务吞吐水平下计算资源利用率达到预设水平，在离线类业务请求的应用场景下，若预期的处理时间通过人为预订，则根据预期的处理时间和此刻计算资源的可用程度，一次性并行加载指定数量的模型实例，同时结合批加快运算处理，其中深度学习虚拟化平台将虚拟化的所有资源进行汇总，根据汇总的资源将业务请求分配至深度学习服务器；以及深度学习服务器通过本地算力聚合及任务分配系统将任务分配至其内部的各个深度学习单元，以使各个深度学习单元能够处理任务；其中各个深度学习单元的算力被聚合在本地算力聚合及任务分配系统中，其中所述本地算力聚合及任务分配系统包括：本地模型池，被配置为对接深度学习虚拟化平台的总模型池；运算任务请求接口，被配置为与深度学习虚拟化平台对接任务和处理结果；模型管理器，被配置为在底层计算硬件上加载模型实例；任务调度器，被配置为将运算任务送往底层计算硬件上的模型实例进行计算，以及将运算任务拼成批以提高效率；以及状态采集器，被配置为采集本深度学习服务器的算力总资源、当前算力占用比例、任务处理速度、队列种类及队列等待长度，上报深度学习虚拟化平台。

全文数据：

权利要求：

百度查询： 上海熠知电子科技有限公司 深度学习算力虚拟化方法