买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京白龙马云行科技有限公司

摘要：本发明涉及Flink乱序处理技术领域，具体是一种Flink回退位点watermark乱序的解决方法，设定watermark水位线生成周期，设定好后，根据两个周期内到达的事件计算出新的watermark水位线；自定义watermark水位线策略、createWatermarkGeneratorx0，指定默认允许延迟的时间定义为delay，初始化偏移量offset，默认值为指定的延迟时间；初始化LinkedList，在一定范围内基于当前时刻到达的数据计算watermark，初始化0为最后一次生成的watermark，定义为lastWm；本发明针对Flink回退位点场景，能够保证watermark的有序，计算出真正符合当前数据的正确的watermark，针对Flink回退位点场景，能够保证算子的计算性能和最终计算数据的完整性。

主权项：1.一种Flink回退位点watermark乱序的解决方法，其特征在于，该方法包括以下步骤：S1、设定watermark水位线生成周期，设定好后，根据两个周期内到达的事件计算出新的watermark水位线；S2、自定义watermark水位线策略、createWatermarkGeneratorx0，指定默认允许延迟的时间定义为delay，初始化偏移量offset，默认值为指定的延迟时间；初始化LinkedList，在一定范围内基于当前时刻到达的数据计算watermark，初始化0为最后一次生成的watermark，定义为lastWm；S3、在onEvent中，获取数据的事件时间，基于当前系统时间和事件时间的差值计算出偏移量offset；S4、在计算watermark之前，限制允许7天的数据到达触发的watermark计算，限定LinkedList的大小为20，超出则移除首个元素；S5、每到达一条数据，将offset添加到LinkedList，并计算LinkedList的最大offset，与指定的延迟时间取最大值，作为当前数据到达时刻，最大的延迟时间offset；S6、在onPeriodicEmitx0中，在周期生成watermark策略中，基于当前系统时间与计算的最大的延迟offset，计算出当前的watermark；为了回溯位点，设定步长setp，即每次周期生成watermark的前进步长，取值为当前计算的watermark与最后一次watermark做差值并减半，最终的watermark为最后一次watermark+step，并更新lastWm为最终的watermark，用于下个周期计算watermark使用；S7、为数据流分配时间戳和并使用上述自定义的watermark。

全文数据：

权利要求：

百度查询： 北京白龙马云行科技有限公司 一种Flink回退位点watermark乱序的解决方法