龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：南京理工大学
申请日：2024-01-19
公开（公告）日：2024-06-07
公开（公告）号：CN118152084A
主分类号：G06F9/48
分类号：G06F9/48;G06F9/455;G06F9/50;G06N3/044;G06N3/092
优先权：
专利状态码：在审-实质审查的生效
法律状态：2024.06.25#实质审查的生效;2024.06.07#公开
摘要：本发明公开了一种云计算环境中spark集群多作业调度方法，为用户工作流弹性分配资源可以在满足截止期的前提下，最小化资源消耗成本。本发明主要描述了三个方法：A基于DQN网络的执行器数量分配算法DEA；B基于启发式的执行器部署策略HEP；C.基于任务最快完成时间的任务调度方案EFT；方法A的主要特点是为单个用户工作流分配满足工作流截止期限的最小执行器数量。方法B的主要特点是将单个用户工作流的所有执行器按照新增成本最小的方法部署到Spark集群的虚拟机中。方法C其主要特点是将工作流的单个任务调度到完成时间最快的执行器上。本发明通过上述方法，在满足Spark工作流截止期限的前提下最优化集群的总成本。
主权项：1.一种云计算环境中spark集群多作业调度方法，其特征在于，包括以下方案：针对Spark集群中随机到达的批任务工作流，每个工作流都拥有独立的执行器，不允许其他工作流使用其执行器；每个工作流只有在其所有执行器就绪后才开始任务调度，一旦工作流的所有任务调度完成，其所有执行器将被销毁，以释放资源；对于随机到达的工作流，将调度方案划分为三个阶段，按顺序执行，依次为方案A、方案B和方案C；方案A给出工作流需要的执行器个数，作为方案B的输入；方案B将工作流需要的执行器部署到Spark集群的虚拟机中；当工作流需要的所有执行器准备就绪后，方案C将工作流的任务调度到执行器上执行，完成整个工作流的执行。
全文数据：
权利要求：
百度查询： 南京理工大学 云计算环境中spark集群多作业调度方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号