买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江西孺智信息技术有限公司

摘要：本发明涉及数据管理技术领域，具体为基于异常数据的大数据存储方法，包括：对目标数据源中包括的各个待采集数据流进行实时监测，从而得到多数据流，并对所述多数据流进行特征提取，从而得到所述多数据流的数据流特征；基于所述数据流特征对所述多数据流进行数据异常检测，从而得到异常数据。本发明能够对待采集数据流进行实时监测，并通过特征提取和数据异常检测，快速识别出异常数据，从而及时作出处理，且通过构建Redis缓冲区队列并根据周期负载率实时调整队列长度、计算综合负载并进行读写任务分配，能够有效管理系统资源，提高数据处理效率。

主权项：1.基于异常数据的大数据存储方法，其特征在于，包括：对目标数据源中包括的各个待采集数据流进行实时监测，从而得到多数据流，并对所述多数据流进行特征提取，从而得到所述多数据流的数据流特征；基于所述数据流特征对所述多数据流进行数据异常检测，从而得到异常数据；构建Redis缓冲区队列，并将所述异常数据进行封装，从而得到异常数据包，将所述异常数据包传输至所述Redis缓冲区队列中，所述Redis缓冲区队列根据周期负载率实时对Redis缓冲区队列长度进行调整，并根据队列监控表对所述Redis缓冲区队列进行定时监控，从而得到队列监控表数据；定时收集所述队列监控表数据计算Redis缓冲区综合负载，基于所述Redis缓冲区综合负载进行读写任务分配；所述队列监控表如下： ；其中，表示所述队列监控表，表示缓冲区ID，表示队列序号，表示队列元素个数，表示队列长度，表示入队速率，表示出队速率；所述Redis缓冲区综合负载计算公式如下： ；其中，表示第i个所述Redis缓冲区综合负载，表示所述Redis缓冲区的数量，表示负载权重，表示Redis缓冲区队列的长度；表示Redis缓冲区队列的元素个数；表示数据处理节点的入队速率；j表示N个Redis缓冲区中第j个Redis缓冲区；所述基于所述Redis缓冲区综合负载进行读写任务分配，包括：基于所述Redis缓冲区综合负载对所述Redis缓冲区进行排序，从而得到缓冲区序列；从所述缓冲区序列中选取所述Redis缓冲区综合负载最小的所述Redis缓冲区；从所述Redis缓冲区中唤醒空闲线程，通过所述空闲线程执行读写任务；实时计算读写压力，将所述读写压力与预设的最大压力阈值进行比对，若所述读写压力大于预设的最大压力阈值，则动态增加线程池，并将所述读写压力与预设的最小压力阈值进行比对，若所述读写压力小于预设的最小压力阈值，则动态回收空闲线程池；所述Redis缓冲区队列根据周期负载率实时对Redis缓冲区队列长度进行调整，包括：实时获取数据处理节点的处理周期，并计算每个处理周期的所述Redis缓冲区队列的周期负载率，所述周期负载率计算公式如下： ；其中，表示所述周期负载率，表示所述Redis缓冲区队列的元素个数，表示所述Redis缓冲区队列的长度；计算所述Redis缓冲区队列的初始大小，所述Redis缓冲区队列的初始大小计算公式如下： ；其中，表示所述Redis缓冲区队列的初始大小，表示所述数据处理节点的初始周期，表示所述数据处理节点的初始周期时的入队初始速率；基于所述Redis缓冲区队列的周期负载率通过长度调整公式对所述Redis缓冲区队列的长度进行调整，所述长度调整公式如下： ；其中，表示所述数据处理节点的处理周期的所述Redis缓冲区队列的长度，表示所述Redis缓冲区队列的最大长度，表示调节因子，表示所述Redis缓冲区队列的实时长度，表示所述Redis缓冲区队列的初始大小，表示预设的最小负载率，表示预设的最大负载率，表示所述Redis缓冲区队列的周期负载率。

全文数据：

权利要求：

百度查询： 江西孺智信息技术有限公司 基于异常数据的大数据存储方法