买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

申请日：2022-12-27

公开（公告）日：2025-01-14

公开（公告）号：CN116032790B

专利技术分类：.基于特定指标的监测或测试，例如QoS、能耗或环境参数[2022.01]

专利摘要：本发明提出了一种调度自动化系统海量数据流异常辨识、诊断和预测方法、装置和系统，该方法包括以下步骤：无损采集步骤，对电力调度数据进行无损采集预处理得到报文信息流；样本扩充步骤，将报文信息流进一步地预处理并进行WGAN‑GP进行样本扩充；AI辨识步骤，将扩充后的样本输入到由PCA+XGBoost与CNN+LSTM联合算法模型组成的两步检测方法中以改善传统机器学习识别率低的问题以及输出结果步骤。本发明的方法、装置和系统不需要大量人工、耗时短、不需要大量标记数据，同时准确率高。

专利权项：1.一种基于生成对抗网络和机器学习相结合的调度自动化系统海量数据流异常辨识、诊断和预测方法，其特征在于，包括以下步骤：步骤1、对电力调度数据进行无损采集预处理得到报文信息流；步骤2、将报文信息流进一步地预处理并进行WGAN-GP（WassersteinGenerativeAdversarialNets-GradientPenalty）进行样本扩充；步骤3、将扩充后的样本输入到由PCA+XGBoost与CNN+LSTM联合算法模型组成的两步检测方法中；以及步骤4、输出辨识结果；其中，步骤3中，根据电力异常数据特点设计PCA+XGBoost算法模型与CNN+LSTM联合算法模型并建立辨识模型库的具体步骤包括：（1）、按照电力异常特点将电力异常分为大类异常与小类异常，其中，大类异常考虑调度业务信息流异常形成机理及特征量，小类异常考虑时间戳与前后相关报文信息；（2）、根据步骤（1）划分的电力异常特点选择合适的算法，对于大类异常采用PCA+XGBoost算法模型检测，小类异常采用CNN+LSTM联合算法模型检测；其中，PCA+XGBoost算法训练模型具体步骤：a加载数据集，给数据打上标签；b根据专家知识与PCA算法对特征重要性排序；c根据特征重要性排序选取不同特征组合，并测试其对模型准确率的影响；d选取的最佳特征组合包含IP源地址、IP目的地址、IP头部长度、总的IP长度、源端口号、目的端口号、ACK确认标志、FIN、TCP序列号、时间戳、104报文启动字符、APDU长度、传输原因、类型标识、信息对象地址、信息元素；e设置XGBoost训练参数：随机打乱数据排序、测试集训练集占比、最大数深度为6、学习率为0.01、给定模型求解方式为gbtree，其余参数选择默认参数；f将处理好的数据转化为向量列表并将向量列表输入到XGBoost模型中进行训练；e将训练好的模型保存到检测器模型库中；其中，CNN+LSTM联合算法训练模型具体步骤：a将原始pcap数据集转化为K12格式；b去掉K12格式中的无用信息：分隔符、分隔行，并将十六进制转化为训练模型需要的十进制；c加载数据集，给数据打上标签，并随机打乱原有的数据排序；d截长补短保证数字列表长度一致，Embedding层将其转化为向量列表；e分别设置CNN与LSTM的模型参数,首先构建卷积神经网络，所述卷积神经网络基于一维CNN，包括四个卷积层，两个最大池化层，两个全连接层，一个softmax层，其中Conv1和Conv2的神经元个数都是256个，内核大小为3，全零填充步长为1；Conv3和Conv4的神经元个数都是128个，内核大小为2，全零填充步长为1；两个最大池化层的内核为2，全零填充步长为2；两个全连接层的神经元个数为128个；每个池层都使用批规范化，四个卷积层使用的激活函数为ReLU函数，训练模型Adam优化算法是最大30epochs，学习速率为0.001；神经网络训练在5个epochs内，损失函数没有降低，则训练终止；本网络结果基于10倍交叉验证；f在CNN中加入两层LSTM层，其中LSTM层与CNN层串联，LSTM层的参数设置包括：第一层LSTM层的输入特征维度为256，隐藏层节点个数为64，dropout设置为0.3，第二层LSTM层的输入维度为128，dropout层位0.2；g将向量列表输入到CNN卷积神经网络中进行训练；h将训练好的模型保存到检测器模型库中。

百度查询： 南京邮电大学 调度自动化系统海量数据流异常辨识、诊断和预测方法、装置和系统