申请/专利权人：云南大学;中国移动通信集团云南有限公司

申请日：2024-03-25

公开（公告）日：2024-06-18

公开（公告）号：CN117939506B

主分类号：H04W24/02

分类号：H04W24/02;H04L41/0631;H04L41/142;H04W24/04

优先权：

专利状态码：有效-授权

法律状态：2024.06.18#授权;2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明涉及智慧运维技术领域，具体提出一种基于近似依赖规则的无线通信网络异常检测方法，该方法包括以下步骤：基于网络运维数据及关键特征指标类别信息，高效构建描述关键特征指标间依赖关系及其不确定性的运维概率图；根据关键特征指标之间的可信互信息实现近似函数依赖挖掘，使用运维概率图结构对冗余依赖进行剪枝、使用评分上界对低评分依赖进行剪枝，以提升挖掘效率；选择对网络状态异常样本敏感的近似函数依赖作为近似依赖规则；使用核心元组和高频元组两种策略对网络监控工具采集的网络参数数据进行异常检测。本发明能准确检测出状态异常的网络，还可根据规则推断产生网络异常的原因。

主权项：1.一种基于近似依赖规则的无线通信网络异常检测方法，其特征在于：该方法包括以下步骤：Step1、运维概率图的构建：基于网络监控工具采集的网络参数和故障日志构建网络运维数据集，从网络特征指标中选出与网络状态强相关的关键特征指标集，对连续型关键特征指标的数据进行离散化处理，得到关键运维数据集，并根据关键特征指标的类别信息及关键运维数据集中网络状态为“正常”的样本，分别构建区域内和区域间PG，得到描述关键特征指标依赖关系的OPG；其中，PG为概率图，区域PG描述了每个网络特征类别中关键特征指标间的依赖关系，区域间PG描述了不同网络特征类别的关键特征指标间的依赖关系，OPG为运维概率图，描述了关键特征指标间的依赖关系；所述Step1具体包括，关键特征指标筛选、连续型关键特征指标数据离散化和运维概率图的构建；Step1.1关键特征指标筛选；基于网络参数和故障日志构建网络运维数据集D＝{d1,d2,…,dn,…,dN}，其中，N是样本数，n是正常样本数，N-n是异常样本数，di，1≤i≤N为D中任一网络参数样本，{d1,d2,…,dn}为正常样本，{dn+1,dn+2,…,dN}为异常样本，每条网络参数样本都记录了网络特征指标集的取值，其中，m′是网络特征指标的数量，r′是连续型特征指标的数量，m′-r′是离散型特征指标的数量，V′j，1≤j≤m′表示第j个网络特征指标，{V′1,V′2,…,V′r′}中网络特征指标的取值为连续型数据，{V′r′+1,V′r′+2,…,V′m′}中网络特征指标的取值为离散型数据；使用Relief算法筛选对网络状态具有重要影响的关键特征指标，具体步骤为：Step1.11按照公式1计算所有网络特征指标V′j，j＝1,2,…,m′与网络状态的相关统计量δj： 其中，表示D中第i条网络参数样本di在V′j上的取值，表示与di网络状态相同且欧式距离最近的样本di,nh在V′j上的取值，表示与di网络状态不同且欧式距离最近的样本di,nm在V′j上的取值，若1≤j≤r′，则若r′+1≤j≤m′，则时否则为1；Step1.12设定阈值σ，0≤σ≤1，通过检索找到所有满足δj≥σ的网络特征指标，构建关键特征指标集其中，m是关键特征指标的数量，r是连续型关键特征指标的数量，m-r是离散型关键特征指标的数量，Vl，1≤l≤m是第l个关键特征指标，{V1,V2,…,Vr}中关键特征指标的取值为连续型数据，{Vr+1,Vr+2,…,Vm}中关键特征指标的取值为离散型数据；Step1.2：所述连续型关键特征指标数据离散化，通过先分类再聚类的方式，将每个连续型关键特征指标Vj，j＝1,2,…,r对应数据进行离散化处理，其中，N是数据点的数量，也就是样本数，是Vj上第l个数据点的取值，具体步骤如下：Step1.21设定最大类别占比β，0≤β≤1，最小类间距系数χ，0＜χ；Step1.22将vj按照取值从小到大重新排序得到其中，是重新排序后第l个数据点的取值，是最后一个数据点的取值；Step1.23使用公式2计算vj数据点间最小间距的平均值sj： Step1.24计算最小类间距s′j＝χ×sj，以及oj中所有数据点的间距若则将第i个数据点前后的数据点分为不同的类别，重复该步骤N-1次，得到分类结果所有数据点共分为bj个类别，其中为第c个类别，为最后一个类别；Step1.25从分类结果中顺序选取类别若中数据点的取值有多种且数据点数大于则递归地使用K-Means算法将中数据点聚为2类，直到每个类别数据点数均不超过或类中数据点只有一种取值；Step1.26重复执行Step1.25bj次；Step1.27完成聚类后，oj中的数据点被划分为b′j个类，按照取值由小到大对类别从1到b′j编号，并将vj中数据点的值改为oj中对应数据点的类别编号；运维概率图的构建又包括运维概率图结构评分、最优区域概率图搜索和最优区域间概率图搜索；Step1.3：运维概率图的构建：经过Step1.1和Step1.2对网络特征指标进行筛选，得到关键特征指标集并对连续型关键特征指标的数据离散化处理，得到关键运维数据集D′＝{v1,v2,…,vn,…,vN}，vi，1≤i≤N为D′中任一样本，使用其中的正常样本构造正常运维数据集D′normal＝{v1,v2,…,vn}，根据业务专家对网络特征指标划分的Q，Q0类网络特征类别，将划分为其中，表示第q类网络特征类别的关键特征指标集，mq，mq0是中关键特征指标数；基于正常运维数据集D′normal和关键特征指标集构建OPG，其中，OPG的节点集为关键特征指标集有向边描述了正常网络状态下关键特征指标之间的依赖关系，然后选取各区域PG的根节点和叶节点构建区域间PG，描述不同网络特征类别的关键特征指标间的依赖关系，最后根据区域间PG的边将Q个区域PG连接，就得到了描述正常网络状态下关键特征指标间依赖关系的OPG；所述运维概率图结构评分，具体步骤为：Step1.31第q，1≤q≤Q类网络特征类别的某个候选区域PG记作G′q的BIC-DDS评分按照公式3计算： 其中，G′q是第q类网络特征类别的候选区域PG，pi是节点父节点取值组合数，ri是节点取值数，nijl表示D′normal中取值为第l种状态、的父节点取值为第j种状态时的样本数，n是正常样本的数量，mq是第q类网络特征类别中关键特征指标数，qi是第q类网络特征类别中节点的取值，是第q类网络特征类别的第i个关键特征指标，表示该结构边的依赖方向评分、是边起点给定情况下终点的信息熵的相反数，me是该候选结构的边数，是边起点取值数，是边终点取值数，表示D′normal中终点取值为第le种状态、起点取值为第je种状态时的样本数，网络运维数据集经过Step1.1和Step1.2得到关键运维数据集D′，D′normal是关键运维数据集中的正常样本构造的正常运维数据集；所述最优区域概率图搜索，基于爬山法进行最优区域PG搜索，构建第q，1≤q≤Q类网络特征类别的区域PG，具体步骤如下：Step1.321设定阈值Step1.322初始时，一个无边的区域PG代表第q网络特征类别的关键特征指标之间没有任何依赖关系，该结构同时是初始最优结构；Step1.323对于当前最优结构中的每一条边使用公式5计算边的依赖方向确定度 其中，表示将边方向反转得到的有向边，若则边在Step1.324禁止使用边反转算子；Step1.324从当前最优结构开始，在每一步通过单次的边添加算子、边删除算子、边反转算子生成一组结构，删除其中有环的结构，得到一组候选最优结构；Step1.325按照公式3计算各候选结构的BIC-DDS评分，并找到其中评分最高者作为新的最优结构；Step1.326重复执行上述Step1.33-Step1.35，直到评分不再增加，最终可得到第q类网络特征类别的最优区域PG，记作Gq；所述最优区域间概率图搜索，用爬山法构建区域间PG，具体步骤如下：Step1.331初始时，区域间PG包括Q个区域PG{G1,G2,…,GQ}，它们之间无边，代表网络特征类别之间没有任何依赖关系，该结构同时是初始最优结构；Step1.332限制边添加算子和边删除算子只能添加或删除某区域PG的叶节点到另一区域PG的根节点的边；其中，mo是区域间PG的节点数，为各区域PG的根节点集合，m′o是根节点的数量，为各区域PG的叶节点集合，mo-m′o是叶子结点的数量；Step1.333从当前最优结构开始，每一步通过单次的边添加算子、边删除算子生成一组结构，删除其中有环的结构，得到一组候选最优结构；Step1.334按照公式3计算各候选结构的BIC-DDS评分，并找到其中评分最高者作为新的最优结构；Step1.335重复执行上述Step1.333-1.335，直到评分不再增加，最终可得到最优区域间PG，记作Go；Step2、近似函数依赖搜索：先根据OPG的结构，将关键特征指标间AFD的搜索限制在各个相关指标组中，基于条件独立性分析方法对冗余AFD进行剪枝并生成候选AFD集，根据关键运维数据集中的正常样本计算候选AFD的BMI评分，并使用评分上界对低评分的候选AFD进行剪枝，最后为每个关键特征指标选择评分最高的k个候选AFD；其中，AFD为近似函数依赖，BMI为可信互信息，用于衡量关键特征指标间的相关性；所述Step2具体包括，近似函数依赖搜索空间剪枝和候选近似函数依赖评分计算；所述近似函数依赖搜索空间剪枝包括相关指标组划分、基于条件独立性的剪枝；所述候选近似函数依赖评分计算包括候选近似函依赖评分、高评分候选搜索；所述相关指标组划分，根据马尔科夫覆盖的性质，将关键特征指标集划分为多个相关指标组，仅在每个相关指标组中搜索无线通信网络关键特征指标间AFD，具体步骤如下：Step2.111初始化相关指标组集合A为Step2.112对于所有关键特征指标Vi，i＝1,2,…,m，根据OPG构建相关指标组Ai＝mbVi∪{Vi}，将Ai添加到相关指标组集合A中；其中，m是关键帧指标的数量，mbVi表示关键特征指标Vi的马尔科夫覆盖；Step2.113对于A＝{A1,A2,…,Am}中的每个相关指标组Ai，若Ai中只有一个关键特征指标或A中存在Ai的超集，则从A中移除Ai，最终剩余m″组相关指标组，即A＝{A1,A2,…,Am″}；所述基于条件独立性的剪枝，通过识别并剪枝搜索空间中的冗余AFD，得到候选AFD集Ω，具体操作步骤如下；Step2.121初始化Ω为A′为其中，Ω用于保存候选AFD集，A′是当前已处理的相关指标组集合；Step2.122从相关指标组集合A＝{A1,A2,…,Am″}中顺序选取Ai；Step2.123生成Ai的一个子集要求T中关键特征指标数量mT大于等于2且T不是A′中已处理相关指标组的子集；其中mT是T中关键特征指标数量；Step2.124从OPG结构G中选取T中的所有关键特征指标、T的祖先节点、以及它们之间的有向边，得到图Ga；Step2.125在Ga所有关键特征指标的父节点之间两两加无向边，并将其他有向边改为无向边，得到图Gm；Step2.126依次删除Gm中的祖先节点，同时在被删节点的邻居节点间两两加无向边，得到图Gr；Step2.127检测T中所有关键特征指标若Gr中与其他关键特征指标都直接相连，则为非冗余AFD，将其添加到候选AFD集Ω中；Step2.128重复执行以上Step2.123-Step2.127，直到Ai中所有关键特征指标数量大于等于2的子集都被生成，将Ai添加到A′；Step2.129重复执行以上Step2.122-Step2.128，直到所有相关指标组Ai都被添加到A′，得到候选AFD集其中，mh是候选AFD的数量，Xl→Yl，1≤l≤mh为第l条候选AFD；所述候选近似函依赖评分，具体步骤为：Step2.21候选Xi→Yi的BMI评分按照公式8计算： 其中，xiyi表示数据集，即D′normal中出现过的任一XiYi取值组合，|Yi|表示关键特征指标Yi的取值数，Vj，1≤j≤m是关键特征指标子集Xi中的任一关键特征指标，k是数据集中未出现的关键特征指标子集Xi取值组合数，表示数据集中在XiYi上取值为xiyi的样本数，n是数据集中的样本总数，使用BMI评分来衡量关键特征指标间的相关性，当关键特征指Xi取值组合数过多时，BMI会对MI高估的部分进行修正，当Xi取值组合数趋于+∞时，BMI趋近于0；网络运维数据集经过Step1.1和Step1.2得到关键运维数据集D′，D′normal是关键运维数据集中的正常样本构造的正常运维数据集；此外，BMI存在一个易于计算的上界，BXi；Yi的上界按照公式10计算： 其中，HYi|Xi表示根据D′normal计算关键特征指标子集Xi给定的条件下关键特征指标Yi的条件熵，subXi是关键特征指标子集Xi的任一子集；该上界随关键特征指标子集Xi中关键特征指标减少而递减；所述高评分候选搜索，计算候选AFD的BMI评分，并为每个关键特征指标Vj，j＝1,2,…,m选出评分最高的k个候选AFD，作为无线通信网络关键特征指标间的AFD集，用于后续异常检测规则挖掘，计算评分过程中，BMI评分上界的单调性用于对低评分的候选AFD进行剪枝，提高了搜索效率，具体步骤如下：Step2.221初始化所有∑j，j＝1,2,…,m为∑j用于保存右部为关键特征指标Vj的AFD集；Step2.222在候选AFD集Ω中选择包含关键特征指标最多的候选Xl→Yl，1≤l≤mh，使用公式8计算BXl；Yl，并从Ω移除Xl→Yl，其中，Yl是关键特征指标Vl′，1≤l′≤m；Step2.223使用公式10计算Xl→Yl的评分上界若上界小于∑l′中第k高的评分，则移除Ω中所有subXl→Yl，更新mh为Ω中剩余候选AFD的数量；Step2.224若BXl；Yl大于∑l′中第k高的评分，则移除∑l′中第k高评分的候选AFD，将Xl→Yl添加到∑l′；Step2.225重复执行Step2.222-Step2.224，直到Ω为空，将所有∑j中的AFD添加到∑中，得到无线通信网络关键特征指标间的AFD集其中，ma是AFD的数量，X′i→Y′i，1≤i≤ma为第i条AFD；Step3、近似依赖规则筛选：根据关键运维数据集中网络状态为“异常”的样本对AFD的影响度，筛选Step2中的AFD，得到对异常样本敏感的ADR；其中，ADR为近似依赖规则，是对网络状态异常样本敏感的AFD；所述Step3具体为基于影响度的近似依赖规则筛选，无线通信网络关键特征指标间的AFD集其中，ma是AFD的数量，X′i→Y′i，1≤i≤ma为第i条AFD，按照公式11计算AFD集∑中每条AFD：X′i→Y′i的影响度ηi，并设定阈值κ，0≤κ≤1，通过检索找到所有满足ηi≥κ的AFD，构建用于无线通信网络异常检测的ADR集R＝{U1→W1,U2→W2,…,Uz→Wz}，其中，z是ADR的数量Ul→Wl，1≤l≤z为第l条ADR； 其中，BX′i；Y′i表示根据正常运维数据集D′normal计算的BMI评分，B′X′i；Y′i表示根据关键运维数据集D′计算的BMI评分，ηi表示关键运维数据集D′中异常样本对BMI评分影响的大小；Step4、无线通信网络异常检测：使用待检测的网络参数样本和运维数据中的正常样本构造测试数据集，根据Step3中的ADR，在正常样本中挖掘核心元组、在测试数据集中挖掘高频元组，对违反核心元组的样本判断其网络状态为异常，对违反高频元组的样本使用异常代价判断其网络状态是否异常；其中，核心元组为测试数据集的正常样本中高频出现的ADR取值，高频元组为测试数据集中高频出现的ADR取值；所述Step4具体包括测试数据集构造、基于核心元组异常检测和基于高频元组异常检测；所述测试数据集构造，输入网络监控工具采集的网络参数样本集合Dnew，根据网络运维数据集D中的正常样本集{d1,d2,…,dn}和Dnew，构建测试数据集D″，使用Step1.1中得到的关键特征指标集筛选D″中的网络特征指标，使用Step1.2所述的方法对D″中连续型关键特征指标的数据离散化，得到D″＝{t1,t2,…,tn,…,tN′}，其中，N′是样本数，ti为第i条样本，D″normal＝{t1,t2,…,tn}为正常样本集，n是正常样本数，tn为最后一条正常样本，D″new＝{tn+1,tn+2,…,tN′}为待检测样本集；所述基于核心元组异常检测，将D″normal中高频出现的ADR取值作为核心元组，标记D″new中所有违反核心元组的样本为异常，具体步骤如下：Step4.21设定核心元组频率θ，0≤θ≤1；Step4.22对于ADR集R中每条规则Ui→Wi，i＝1,2,...,z的任一取值uiwi，其中z是ADR的数量，在D″normal中统计取值为uiwi的样本数若大于则记录uiwi为核心元组，最终得到核心元组集其中，为Ul→Wl的第c条核心元组，Ul→Wl共有Cl条核心元组；Step4.23对于D″new中所有待异常检测样本tj，j＝n+1,n+2,…,N′，若tj在关键特征指标子集Ul上取值为而在关键特征指标Wl上取值不为则标记tj对应的无线通信网络状态异常，从D″中删除tj，并记录违反规则Ul→Wl；Step4.24对D″中剩余的样本更新标号，D″＝{t1,t2,…,tn,…,tN″}，其中D″new＝{tn+1,tn+2,…,tN″}为剩余的待检测样本；所述基于高频元组异常检测，找到D″中高频出现的ADR取值作为高频元组，对于D″new中所有违反高频元组的样本，根据异常代价判断其网络状态异常，具体步骤如下：Step4.31设定高频元组频率μ，0≤μ≤1；Step4.32对于ADR集R中每条规则Ui→Wi，i＝1,2,...,z的任一取值uiwi，在D″中统计取值为uiwi的样本数若大于且uiwi非核心元组，则记录uiwi为高频元组，最终得到高频元组集其中，为Ul→Wl的第h条高频元组，Ul→Wl共有Hl条高频元组；Step4.33对于D″new中所有待异常检测样本tj，j＝n+1,n+2,…,N″，若tj在关键特征指标子集Ul上取值为而在关键特征指标Wl上取值为使用公式12计算tj的异常代价γ，该异常代价小于0，则标记tj对应的无线通信网络状态异常，从D″中删除tj，并记录违反规则Ul→Wl； 其中，λ，0≤λ≤1为给定系数，lenUlWl表示UlWl中关键特征指标的个数，若Wl是连续型关键特征指标，则否则为1，是在D″中统计取值为的样本数，是在D″中统计取值为的样本数，异常代价γ衡量了样本取值违反高频元组程度和高频元组的可信度，γ越小，表明tj对应的无线通信网络状态越可能异常。

全文数据：

权利要求：

百度查询： 云南大学;中国移动通信集团云南有限公司 一种基于近似依赖规则的无线通信网络异常检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD