买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广州睿帆科技有限公司;黑龙江大学

摘要：本发明涉及文件处理技术领域，并具体公开了一种基于Flink的FTP文件实时监控分析系统及方法，其系统包括：状态信息获取模块，获取FTP路径中的第一状态信息和第二状态信息；正常处理模块，用于基于第一状态信息和第二状态信息及Flink的分布式处理模式执行当前FTP文件处理任务；消息位移信息获取模块、新任务生成模块及异常恢复执行模块，用于当监测到FTP文件的当前处理系统存在异常终止情况并恢复启动时，则基于最新获取的第二状态信息中的文件列表信息集合中每个文件的消息位移信息，生成新的FTP文件处理任务并执行；用以提供一种兼具实时性、监控功能稳定性以及流批统一兼容性的FTP文件的监控处理方式。

主权项：1.一种基于Flink的FTP文件实时监控分析系统，其特征在于，包括：状态信息获取模块，用于基于Flink的内置机制，获取FTP路径中最新处理的时间戳信息作为第一状态信息，并获取FTP路径中最新处理的时间戳信息对应的文件列表信息集合作为第二状态信息，其中，文件列表信息集合至少包括最新处理的时间戳对应的文件列表中的每个文件的消息位移信息；正常处理模块，用于当未检测到FTP文件的当前处理系统存在异常终止情况时，则基于最新获取的第一状态信息和第二状态信息以及Flink的分布式处理模式执行当前的FTP文件处理任务，直至完成当前FTP文件处理周期；消息位移信息获取模块，用于当监测到FTP文件的当前处理系统存在异常终止情况并恢复启动时，则获取最新的第二状态信息中的文件列表信息集合中每个文件的消息位移信息；新任务生成模块，用于基于最新获取的第二状态信息中的文件列表信息集合中每个文件的消息位移信息，生成新的FTP文件处理任务；异常恢复执行模块，用于基于Flink的流处理模式执行新的FTP文件处理任务，直至完成当前FTP文件处理周期；其中，正常处理模块，包括：当前任务生成子模块，用于当未检测到FTP文件的当前处理系统存在异常终止情况时，则基于预定义规则中的标准处理顺序，生成当前的FTP文件处理任务；节点分配子模块，用于基于预设节点分配原则，为当前的FTP文件处理任务分配分布式处理节点，获得节点分配结果；文件处理子模块，用于控制节点分配结果中的所有分布式处理节点以按块读取的方式处理当前的FTP文件处理任务，同时，在每次处理完一个数据块之后，同步更新对应文件在最新获取的第一状态信息中的时间戳信息和最新获取的第二状态信息中的消息位移信息，直至最新获得的所有文件的消息位移信息中的偏移量达到当前的FTP文件处理任务的块数量时，判定完成当前FTP文件处理周期；其中，新任务生成模块，包括：第一新任务生成子模块，用于判断出最新获取的第二状态信息中的文件列表信息集合中是否存在消息位移信息为空的第一待处理文件，若是，则判断出最新获取的第二状态信息中的文件列表信息集合中的所有消息位移信息是否都为空，若是，则基于最新获取的第二状态信息中的文件列表信息集合生成新的批处理任务，作为新的FTP文件处理任务；第二新任务生成子模块，用于当最新获取的第二状态信息中的文件列表信息集合中的所有消息位移信息不是都为空时，则生成两个部分新的FTP文件处理任务；处理周期完成提示子模块，用于当最新获取的第二状态信息中的文件列表信息集合中不存在消息位移信息为空的待处理文件时，则判定完成当前FTP文件处理周期；其中，第二新任务生成子模块，包括：第一新任务生成单元，用于当最新获取的第二状态信息中的文件列表信息集合中的所有消息位移信息不是都为空时，则基于最新获取的第二状态信息中的文件列表信息集合中当前存在的所有第一待处理文件和Flink中的所有可分配分布式处理节点，生成第一部分新的FTP文件处理任务；消息位移信息获取单元，用于当最新获取的第二状态信息中的文件列表信息集合中的所有消息位移信息不是都为空时，则获取最新的第二状态信息中的文件列表信息集合中消息位移信息不为空的第二待处理文件的消息位移信息；第二新任务生成单元，用于基于最新获取的第二状态信息中的文件列表信息集合中的所有第二待处理文件的消息位移信息，生成断点续传任务，作为第二部分新的FTP文件处理任务。

全文数据：

权利要求：

百度查询： 广州睿帆科技有限公司 黑龙江大学 一种基于Flink的FTP文件实时监控分析系统及方法