恭喜云南大学薛岗获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜云南大学申请的专利基于日志时空特征分析的分布式系统异常检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116167370B 。
龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310101882.X,技术领域涉及:G06F40/289;该发明授权基于日志时空特征分析的分布式系统异常检测方法是由薛岗;韩鹏飞;刘璟设计研发完成,并于2023-02-08向国家知识产权局提交的专利申请。
本基于日志时空特征分析的分布式系统异常检测方法在说明书摘要公布了:本发明公开了一种基于日志时空特征分析的分布式系统异常检测方法,从分布式系统历史运行过程所收集的原始日志中提取出若干原始日志序列作为训练样本,对于原始日志序列进行解析得到原始日志序列对应的日志模板序列,对日志模板序列中的日志模板进行进一步处理后进行语义向量化得到日志模板语义向量序列,构建异常检测模型,采用训练样本对异常检测模型进行训练,当需要对分布式系统进行异常检测时,获取待检测时间段的日志模板语义向量序列,输入训练异常检测模型得到异常检测结果。本发明通过充分考虑日志的时间和空间特征,提高异常检测的准确率,保证分布式系统的安全性和可靠性。
本发明授权基于日志时空特征分析的分布式系统异常检测方法在权利要求书中公布了:1.一种基于日志时空特征分析的分布式系统异常检测方法,其特征在于包括:S1:收集分布式系统的原始日志,包括日志的时间戳、级别、代码位置和日志记录的分布式系统运行过程的详细信息文本,将收集到的原始日志进行存储;S2:从分布式系统历史运行过程中提取出若干原始日志序列作为训练样本,每个原始日志序列中包含K个连续的原始日志,K的取值根据实际需要进行设置,对每个原始日志序列进行标签标注,如果该原始日志序列中包含异常情况,则标签为1,否则标签为0;S3:对原始日志序列中的每个原始日志分别进行解析,将每个原始日志中的“时间戳”、“级别”、“代码位置”信息去除并将详细信息中的IP地址参数用通配符*进行匹配,得到该原始日志对应的日志模板,进而得到原始日志序列对应的日志模板序列;S4:对于每个日志模板序列,将其中每个日志模板中的标点符号和通配符用空格代替,然后获取日志模板中单词数量作为日志模板长度,当日志模板长度小于预设的统一日志模板长度N,则使用预设的默认字符串对该日志模板填充至长度N,当日志模板长度大于预设的统一日志模板长度N,则去除最后的单词将日志模板长度缩短为N,否则不作任何操作;S5:采用语义特征嵌入和统计特征嵌入结合的方式对日志模板子序列进行语义向量化,具体方法为:记日志模板序列中第k个日志模板为ak,1,ak,2,…,ak,N,ak,i表示第k个日志模板中第i个单词,k=1,2,…,K,i=1,2,…,N;对日志模板中的单词使用word2vec算法进行词嵌入,记ek,i为单词ak,i进行词嵌入得到的M维向量;然后基于TF-IDF方法获取每个单词的权值tk,i:统计单词ak,i在日志模板中的词频和tfk,i和逆文档频率idfk,i,计算权值tk,i=tfk,i×idfk,i;根据词嵌入向量ek,i和权值tk,i,得到第k个日志模板中第i个单词的语义向量vk,i=ek,i×tk,i,从而得到第k个日志模板的大小为N×M的语义向量矩阵为Vk: 然后将日志模板序列中所有日志模板的语义向量构成大小为N×M×K的日志模板语义向量序列F: S6:构建异常检测模块,包括K个特征提取模块、K个遮蔽mask模块、1个转换器Transformer网络、1个全连接层和1个softmax层,其中:N个特征提取模块分别提取日志模板语义向量序列中第n个单词对应的语义向量序列v1,i,v2,i,…,vK,i的时间特征Ti,时间特征Ti的维度设置为H×W×L,然后将时间特征Ti发送至转换器网络;N个遮蔽模块分别提取日志模板语义向量序列中日志模板语义向量序列中第n个单词对应的语义向量序列v1,i,v2,i,…,vK,i的位置特征si,位置特征si的维度设置为H,然后将位置特征sk用0填充得到维度为H×W×L的三维位置特征Si,然后将位置特征Si发送至转换器网络;转换器网络根据接收的N个时间特征Ti和位置特征Si,提取得到日志模板语义向量序列的时空特征X并发送至全连接层;全连接层用于对接收到的时空特征X进行整合,转化为一维特征并输出至softmax层;softmax层用于根据接收到的特征进行预测,得到原始日志序列是否存在异常的结果;S7:将作为训练样本的原始日志序列对应的日志模板语义向量序列作为输入,原始日志序列对应的标签作为期望输出,对步骤S6构建的异常检测模型进行训练,得到训练好的异常检测模型;S8:当需要对分布式系统进行异常检测时,首先从待检测时间段提取连续的K个原始日志构成待检测原始日志序列,然后采用步骤S3中的方法进行日志解析,采用步骤S4中的方法进行日志模板预处理,采用步骤S5中的方法进行日志模板语义向量化,得到待检测原始日志序列对应的日志模板语义向量序列,将其输入至训练好的异常检测模型,得到待检测原始日志序列的异常检测结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人云南大学,其通讯地址为:650031 云南省昆明市翠湖北路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。