买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国兵器工业计算机应用技术研究所

摘要：本发明涉及一种基于中间数据的任务断点重跑方法及系统，属于批流一体数据处理领域。本发明方法包括：基于数据处理任务确定相应的DAG图，DAG图用于表示执行所述任务的各任务算子的执行顺序和执行方向；基于DAG图执行数据处理任务，执行时记录输入数据在相应数据源中的偏移位置、各任务算子的执行结果标志，当所述执行结果标志为成功时，记录该任务算子形成的中间数据；其中，所述输入数据为从相应数据源中持续读取的批数据或流数据；在所述任务执行失败时，基于所述执行结果标志以及所述偏移位置或中间数据执行任务断点重跑。本发明方法可以避免失败的批流一体数据处理任务在重跑过程中出现的数据丢失、数据重复等问题，并提升任务重跑效率。

主权项：1.一种基于中间数据的任务断点重跑方法，其特征在于，包括如下步骤：基于数据处理任务确定相应的DAG图，包括：基于所述任务的各任务算子确定DAG图的各节点，其中各任务算子与各节点一一对应；基于所述各任务算子相互间的上下游关系确定DAG图各节点的连线关系；基于所述各节点和相应连线关系确定DAG图；DAG图用于表示执行所述任务的各任务算子的执行顺序和执行方向；基于DAG图执行数据处理任务，执行时记录输入数据在相应数据源中的偏移位置、各任务算子的执行结果标志，记录执行成功的任务算子形成的中间数据并标记相应算子的执行结果标志为成功，标记执行失败的任务算子的执行结果标志为失败；其中，所述输入数据为从相应数据源中持续读取的批数据或流数据；所述记录执行成功的任务算子形成的中间数据包括：将执行成功的任务算子相应的输出数据作为中间数据；使用中间数据存储引擎存储所述中间数据，并清除存储的上游任务算子的相应中间数据；基于所述中间数据的存储位置信息建立存储索引；所述存储索引用于读取得到相应的待执行的中间数据；在所述任务执行失败时，基于所述执行结果标志以及所述偏移位置或中间数据执行任务断点重跑，包括：遍历各任务算子的执行结果标志，将存在失败执行结果标志的任务算子确定为失败算子：若失败算子为第一个任务算子，则基于所述偏移位置从相应数据源中读取输入数据执行任务断点重跑；否则所述失败算子基于失败时输入该任务算子的所述存储索引读取相应中间数据执行任务断点重跑。

全文数据：

权利要求：

百度查询： 中国兵器工业计算机应用技术研究所 一种基于中间数据的任务断点重跑方法及系统