买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：昆明理工大学

摘要：本发明公开了一种IoT物联网多协议多边数据采集过程的数据质量控制方法，通过提供数据采集环节和分布式流计算规则引擎环节的全配置全自动的高并发低延迟的数据质量处理方法，满足流计算的数据采集的分布式线性扩展要求，解决IoT物理多边数据采集过程中的数据质量统一控制处理，并为物联网的杂乱的数据采集提供标准的数据质量处理过程的控制方法。

主权项：1.一种IoT物联网多协议多边数据采集过程的数据质量控制方法，其特征在于，包括以下步骤：Step1、在各个采集终端服务器上自动根据采集层的启动基于TCP或UPD监听端口，接收或拉取物联网各个边缘工控网或数据采集点位的原始二进制数据；根据物联网协议类型进行解析、分类，同时拆分成单一点位消息标准数据接口；Step2、结合物联网点位的标准数据的配置规则，转换成统一json数据结构；Step3、按照每种物联网点位协议定义，数据采集程序缓存n～1000个中最大缓存数点位的数据；Step4、组合上包数据和前10包数据，定义数据质量计算所需的数据集，并将数据集回写redis，该步骤定义标准数据结构；Step5、进行有无数据时间判断，添加数据采集时间校验的数据时间质量处理；Step6、进行统一的传感器点位的数据采集时间刻度判断，在流计算中不能使用高精度算法进行数据补全，采用简单补全算法，表达式如下： yn-1＝{T0+x}，式中，T0为采集到的上包数据值，Tn为当前采集到的点位值，N为缺失包数，x为缺失刻度的平均差值，yn-1为需要补全的点位的补全值，并输出到补全后的数据集合中；Step7、启动数据发送线程，按照时间刻度提取点位的数据集合发送数据到对应的物联网协议匹配的kafka主题；Step8、启动分布式流计算规则的标准数据质量控制进程，进行可配置组合的串并行计算；Step9、转换统一的json数据对象文本消息输出，并发送到统一的kafka主题；Step10、根据传感器数据质量选择规则的逻辑规则进行最后数据质量组合判断计算，并输出该点位所有分布式计算环节使用的线程数、规则数量、数据流程规则、计算时长，数据质量组合判断规则后的正确数据统一输出到系统监控kafka主题；Step11、归档输出该点位所有分布式计算环节使用的线程数、规则数量，数据质量规则集合、数据流程规则、计算时长到统一IoTDB监控数据库中。

全文数据：

权利要求：

百度查询： 昆明理工大学 一种IoT物联网多协议多边数据采集过程的数据质量控制方法