买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明涉及数据处理技术领域，本发明公开了一种基于人工智能的大数据平台运维管理系统；包括提取出目标数据的数据特征，将目标数据划分为数据集合，采集综合运维参数和运维状态值，训练预测出运维状态值的机器学习模型，判定是否存在异常集合，从综合运维参数中识别出异常参数，制定出数据优化指令；相对于现有技术，本发明能够实现海量数据化整为零的分类效果，降低了每一个数据集合的计算负担，同时也避免了大量不同类型数据混合在一起时发生数据混乱甚至丢失的现象，并能够准确的预测出大数据平台的运维管理状态，制定出相应的数据优化指令，对大数据平台内的数据进行针对性的优化处理，提高了大数据平台运维管理的安全稳定性。

主权项：1.一种基于人工智能的大数据平台运维管理系统，应用于大数据平台，其特征在于，包括：集合划分模块，用于提取出目标数据的数据特征，并基于数据特征，将目标数据划分为数据集合，数据特征包括类型特征和属性特征；类型特征和属性特征的提取方法包括：通过自然语言处理技术逐一识别出数据库内i个目标数据的内容语义，获得i个语义词；标记出语义词中的文字对应的第一部分和数字对应的第二部分，并在第一部分和第二部分之间建立拆分点；通过分词技术将i个语义词从拆分点进行拆分，获得i个内容位和i个类型位，并记录类型位中的字符，获得i个类型特征；通过数据属性表查询i个原始数据的属性，并将i个属性中的文字部分记为属性特征，获得i个属性特征；数据集合的划分方法包括：将具有相同类型特征的目标数据汇总，查询目标数据的储存时刻，并按照储存时刻的先后顺序对目标数据依次排列，生成u个数据列；将数据列中具有相同属性特征的目标数据汇总，获得个数据组，以个数据组为划分单元，将数据库内的目标数据划分为个子集合；将个子集合对应的类型特征和属性特征一一组合，获得个集合备注；分别在个子集合的末端建立备注框，并在个备注框内对应导入个集合备注，获得个数据集合；数据采集模块，用于采集数据集合的历史训练数据，历史训练数据包括综合运维参数和运维状态值，综合运维参数包括容量占用率、数据加密占比率、单位处理速率和异常访问频率；数据加密占比率的获取方法包括：在T1时刻，分别从个数据集合内随机抓取等量的目标数据，记为第一检测数据，并统计第一检测数据的数量；在T2时刻，分别从个数据集合内随机抓取等量的目标数据，记为第二检测数据，并统计第二检测数据的数量；通过加密管理系统逐一查询第一检测数据和第二检测数据的加密状态，并标记出加密状态为已加密的目标数据，获得x个第一加密数据和x个第二加密数据；通过时间戳逐一查询x个第一加密数据和x个第二加密数据的储存时刻和加密时刻，并将储存时刻至加密时刻之间的时长记为加密时长，获得x个第一加密时长和x个第二加密时长；将第一加密时长和第二加密时长小于预设的时长阈值的第一加密数据和第二加密数据分别记为第一可用数据和第二可用数据，并统计第一可用数据的数量和第二可用数据的数量；将第一可用数据的数量与第一检测数据的数量比较，获得个第一占比率；将第二可用数据的数量与第二检测数据的数量比较，获得个第二占比率；将个第一占比率分别与对应的个第二占比率相加后求平均，获得个数据加密占比率；单位处理速率的获取方法包括：分别从个数据集合中标记出等量的目标数据，记为待标记数据；通过自然语言处理技术逐一识别出待标记数据的关键字，将关键字作为标签标记在待标记数据上，获得处理数据，并统计处理数据的总量；将所有的处理数据在同一时刻导入数据处理器中，并经过预设的处理时长后，接收并记录数据处理器导出的处理数据；将不存在标签的导出的处理数据记为已处理数据，并统计已处理数据的数量；将个数据集合的已处理数据的数量与个数据集合的处理数据的总量比较，获得个子处理速率；通过系统监控工具依次查询个数据集合的固定延迟时长，并将预设的处理时长与个固定延迟时长作差后，获得个有效处理时长；将个子处理速率逐一与个有效处理时长比较，获得个单位处理速率；异常访问频率的获取方法包括：通过访问管理系统逐一查询个数据集合内的目标数据第一次出现访问记录的时刻，获得个初始时刻；当预设的访问周期内不再出现访问记录时，将个数据集合内最后一次出现访问记录的时刻记为结束时刻，获得个结束时刻；将个初始时刻至个结束时刻之间的时长记为有效访问时长，获得个有效访问时长；逐一标记出个数据集合在有效访问时长内所有的访问记录，并逐一查询访问记录的访问状态值；将访问状态值为未授权状态的访问记录记为异常访问，并统计异常访问的数量，获得个异常量值；将个异常量值依次与个有效访问时长比较，获得个异常访问频率；模型训练模块，用于基于历史训练数据，训练预测出运维状态值的机器学习模型；预测出运维状态值的机器学习模型的训练方法包括：将综合运维参数转换为对应的一组特征向量，将运维状态值进行数字转换，运维安全状态转换为0，运维异常状态转换为1；将特征向量作为机器学习模型的输入，并将每组综合运维参数对应的运维状态值作为机器学习模型的输出，以运维状态值为预测目标，以最小化所有训练数据的预测误差之和作为训练目标，对机器学习模型进行训练，直至预测误差之和达到收敛时停止训练，获得能够预测出运维状态值的机器学习模型；预测判定模块，用于采集实时的综合运维参数，输入到训练完成的机器学习模型中，预测出实时的运维状态值，并判定数据集合中是否存在异常集合；指令制定模块，用于将综合运维参数与对应的标准值比较，识别出异常参数，并基于异常参数，制定出数据优化指令。

全文数据：

权利要求：

百度查询： 合肥工业大学 一种基于人工智能的大数据平台运维管理系统