申请/专利权人：中国平安财产保险股份有限公司

申请日：2019-10-15

公开（公告）日：2024-06-25

公开（公告）号：CN111221632B

主分类号：G06F9/48

分类号：G06F9/48;G06F9/50

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2021.02.23#实质审查的生效;2020.06.02#公开

摘要：本申请实施例提供了分布式并行任务调度方法、装置、计算机设备和存储介质，涉及计算机网络技术领域，该方法利用接收数据任务的处理请求时，通过分布式节点中的主节点响应处理请求；通过主节点将数据任务分配至各个数据节点进行数据处理；其中主节点与数据节点采用相同的配置；当主节点出现宕机时，从数据节点中选举出新的主节点，并通过新的主节点响应新的数据任务的处理请求，从而避免了若主节点出现宕机导致数据任务响应中断的问题。本方案基于线程间内核调度以进行数据处理，能够快速从数据节点中选举出新的主节点，提高了分布式系统的作业效率，同时各分布式节点配置相同，降低了开发成本，实现轻量级开发。

主权项：1.一种分布式并行任务调度方法，其特征在于，包括以下步骤：接收数据任务的处理请求时，遍历分布式任务调度系统中的各个节点，寻找出预先配置有主节点标识的目标节点，将所述目标节点确定为主节点，通过分布式节点中的主节点响应所述处理请求，每个分布式节点执行一个线程，所有线程共享地址空间和数据空间；通过所述主节点将处理请求中的数据任务分配至各个数据节点进行数据处理，包括：获取各个数据节点的性能状态信息和任务执行信息，根据所述性能状态信息和任务执行信息确定各个所述数据节点分配的任务量，所述性能状态信息包括CPU主频、内存大小、CPU使用率、内存使用率和IO资源使用率，所述任务执行信息包括正在进行中的任务数量、任务执行进度、已执行时间、剩余执行时间；通过所述主节点将所述数据任务按照所述任务量分配至对应的数据节点进行数据处理；其中，所述主节点与数据节点采用相同的配置；在数据处理过程中，监控所述主节点和数据节点的运行状态；当所述主节点出现宕机时，从所述数据节点中选举出新的主节点，包括：获取所述数据节点的性能状态信息和任务执行信息，根据所述性能状态信息和所述任务执行信息竞选出性能状态信息最佳或任务执行状态最佳的目标数据节点；将所述目标数据节点作为新的主节点，并替换出现宕机的主节点，所述新的主节点继续执行被分配的数据任务；通过所述新的主节点响应新的数据任务的处理请求。

全文数据：

权利要求：

百度查询： 中国平安财产保险股份有限公司 分布式并行任务调度方法、装置、计算机设备和存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD