申请/专利权人:无锡九方科技有限公司
申请日:2024-04-12
公开(公告)日:2024-06-21
公开(公告)号:CN118034939B
主分类号:G06F9/50
分类号:G06F9/50
优先权:
专利状态码:有效-授权
法律状态:2024.06.21#授权;2024.05.31#实质审查的生效;2024.05.14#公开
摘要:本发明公开了基于动态IO负载感知的并行任务调度方法,涉及数据处理相关领域,该方法包括:根据并行任务进程中的通信协议,确定各个任务的任务路径进行动态IO并行任务进程识别,获取节点计算复杂度,筛选节点计算复杂度大于预设节点计算复杂度的N个负载节点,输出N个负载节点对应的N个备选负载节点库,建立概率寻优输出模型对N个备选负载节点库中每个备选负载节点库进行寻优,以输出N个备选负载节点对N个负载节点进行节点跳转,解决现有并行任务调度缺乏动态IO负载感知,导致运行过程中易出现过负载的技术问题,实现监测系统中IO负载的变化,动态地调整并行任务的执行顺序和分配资源,避免出现过负载的技术效果。
主权项:1.基于动态IO负载感知的并行任务调度方法,其特征在于,所述方法包括:获取并行任务进程,根据所述并行任务进程中各个任务对应的通信协议,确定各个任务的任务路径;对各个任务的任务路径中涉及的所有负载节点进行动态IO并行任务进程识别,获取节点计算复杂度,获取所述节点计算复杂度的表达式为: ;其中,为节点计算复杂度,为对应节点的任务进程总数量,为对应节点单次并行处理的任务进程数量,对于的任务进程由对应节点进行并行处理,对于的任务进程由对应节点进行顺序处理,为每个任务进程的计算复杂度,为对应节点当前顺序执行的进程数;筛选节点计算复杂度大于预设节点计算复杂度的N个负载节点,输出所述N个负载节点对应的N个备选负载节点库,其中,所述N个负载节点与所述N个备选负载节点库一一对应;建立概率寻优输出模型,根据所述概率寻优输出模型对所述N个备选负载节点库中每个备选负载节点库进行寻优,以输出N个备选负载节点;基于所述N个备选负载节点对所述N个负载节点进行节点跳转。
全文数据:
权利要求:
百度查询: 无锡九方科技有限公司 基于动态I/O负载感知的并行任务调度方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。