买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江农商数字科技有限责任公司

摘要：本发明提出了一种基于任务链和分治法的海量数据汇总方法及系统；属于数据汇总技术领域；所述方法包括：在批量任务链流程定义表中预先配置主任务链及子任务链，并明确各节点及所述各节点的执行顺序；调度中心系统设定好定时任务，在固定的结算时间点，通过消息队列向批量应用系统发布一条特定topic和tag的消息，并启动批量汇总主任务；批量应用系统中的一个节点监听到MQ中对应topic和tag的消息后，开始执行批量汇总主任务链。通过对任务合理分解和优化调度，提升了整体业务流程的执行效率；利用任务链可以更好地分配和利用计算资源，减少不必要的等待和瓶颈问题。

主权项：1.一种基于任务链和分治法的海量数据汇总方法，其特征在于，所述方法包括：在批量任务链流程定义表中预先配置主任务链及子任务链，并明确各节点及所述各节点的执行顺序；调度中心系统设定好定时任务，在固定的结算时间点，通过消息队列向批量应用系统发布一条特定topic和tag的消息，并启动批量汇总主任务；批量应用系统中的一个节点监听到MQ中对应topic和tag的消息后，开始执行批量汇总主任务链；各子任务执行完毕后，所述子任务对各自处理的结果数据进行汇总，主任务再将子任务结果进行整合，形成完整数据集；所述调度中心系统设定好定时任务，在每天固定的结算时间点，通过消息队列向批量应用系统发布一条特定topic和tag的消息，并启动批量汇总主任务，包括：在调度中心系统中新建一个定时任务，并指定该定时任务的执行周期；将定时任务与目标消息队列系统进行集成，设置任务执行时需要发送的消息内容、topic以及tag；明确消息体内容；选择或创建一个特定的topic，并使用一个具有语义意义的tag；在定时任务的实际执行动作部分编写脚本或程序代码，当到达预设时间点时，自动调用消息队列的API接口，将配置好的消息内容发布至预先设定的topic；在批量应用系统中配置消息消费者，订阅对应topic下的tag，若接收到调度中心发布的消息，则执行批量汇总主任务的启动；在批量应用系统中编写消息处理逻辑，当从消息队列中获取到定时任务触发的消息后，对触发的消息进行解析，并初始化和启动主任务链；所述批量应用系统中的一个节点监听到MQ中对应topic和tag的消息后，开始执行批量汇总主任务链；包括：批量应用系统启动后，节点实例与消息队列服务建立稳定的网络连接，订阅预先配置好的topic，并设定过滤tag；节点实例进入监听状态，等待MQ服务器推送匹配topic和tag的消息；若接收到消息，节点实例进行消息读取并确认消息接收成功；对接收到的原始消息内容进行解析，提取出执行批量汇总主任务所需的必要参数和上下文信息；根据预先在批量任务链流程定义表中配置的主任务链结构，节点实例开始初始化任务链，为每个节点分配相应的执行环境和参数；按照预先定义好的节点执行顺序，依次执行详细配置主任务链节点操作；在执行主任务链的过程中，节点实例持续监控各个子任务的执行情况，当所有子任务执行完毕后，收集各个子任务的处理结果，进行数据汇总；在执行过程中，若出现异常情况，节点实例对异常情况进行捕获，并执行二次操作。

全文数据：

权利要求：

百度查询： 浙江农商数字科技有限责任公司 一种基于任务链和分治法的海量数据汇总方法及系统