申请/专利权人：苏州浪潮智能科技有限公司

申请日：2022-06-10

公开（公告）日：2024-05-14

公开（公告）号：CN115061790B

主分类号：G06F9/48

分类号：G06F9/48;G06F9/50;G06F18/23213

优先权：

专利状态码：有效-授权

法律状态：2024.05.14#授权;2022.10.04#实质审查的生效;2022.09.16#公开

摘要：本申请公开了一种用于ARM双路服务器的SparkKmeans核心分配方法及系统，该方法首先在Driver端添加warmup脚本，依次提交第一计算模式和第二计算模式；根据当前的计算模式，SparkContext向资源管理器申请分配Executor进程，定义第一核心分配模式和第二核心分配模式。根据当前计算模式提交第一任务或第二任务。执行当前的任务，获取不同计算模式下的任务执行时间；比对不同计算模式下的任务执行时间，确定用时最短的计算模式；利用该计算模式完成所有迭代计算。该系统包括：判断模块、计算模式提交模块、SparkContext创建模块、核心分配模式确定模块、资源分配模块、任务提交模块、任务执行时间获取模块、计算模式确定模块和迭代计算模块。通过本申请，能够有效提高Spark的计算效率。

主权项：1.一种用于ARM双路服务器的SparkKmeans核心分配方法，其特征在于，所述方法包括：判断当前SparkKmeans任务核心数是否大于或等于ARM双路服务器中CPU0的核心数，所述CPU0是与硬盘直连的CPU；如果否，将当前SparkKmeans任务直接分配至CPU0，完成SparkKmeans的所有迭代计算；如果是，在Driver端添加warmup脚本，并通过运行所述warmup脚本，依次提交第一计算模式和第二计算模式，其中，第一计算模式为：将当前SparkKmeans任务核心数设置为CPU0的核心数，第二计算模式为：保持当前SparkKmeans任务核心数不变；在Driver端根据所获取的SparkKmeans任务，创建SparkContext；根据当前的计算模式，所述SparkContext向资源管理器申请分配Executor进程，并定义第一核心分配模式和第二核心分配模式，其中，将当前Executor进程全部分配至CPU0的模式，定义为第一核心分配模式，将当前Executor进程先分配至CPU0，剩余Executor进程再分配至CPU1的模式，定义为第二核心分配模式；根据当前的核心分配模式，将Executor进程分配到相应的CPU；根据当前的计算模式，通过任务调度器提交第一任务或第二任务，其中，第一任务与第一计算模式相匹配，第二任务与第二计算模式相匹配；执行当前的任务，获取到不同计算模式下的任务执行时间，所述任务执行时间包括：计算运行时间和跨路数据传输时间；比对不同计算模式下的任务执行时间，确定用时最短的计算模式；利用用时最短的计算模式在Executor上完成SparkKmeans的所有迭代计算。

全文数据：

权利要求：

百度查询： 苏州浪潮智能科技有限公司 一种用于ARM双路服务器的Spark Kmeans核心分配方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD