申请/专利权人：长沙理工大学

申请日：2024-03-22

公开（公告）日：2024-06-28

公开（公告）号：CN118260689A

主分类号：G06F18/2433

分类号：G06F18/2433;G06F18/214;G06N3/045;G06N3/0499;G06N3/084;G06F17/16

优先权：

专利状态码：在审-公开

法律状态：2024.06.28#公开

摘要：本发明属于日志异常检测领域，涉及一种基于自适应低秩参数高效微调的日志异常检测方法。与已有的方法相比，本发明使解决了预训练模型训练开销大、预定义微调网络层的问题，将AdaLoRA参数调优策略用在BERT的所有层，通过自适应选择作用层，减少训练开销和参数的数量，最终以更少的标签数据和更少的训练时间实现可靠的异常检测性能。因此，本项目可以使用基于自适应低秩参数高效的日志异常检测方法检测日志中的异常。采用预训练模型BERT，降低训练时标签数据量的需求。通过冻结预训练模型参数，将BERT模型的所有层与自适应低秩参数高效策略相结合，联合网络层选择、低秩旁路矩阵学习和日志分类任务训练，完成参数高效日志异常检测任务，减少模型训练开销。

主权项：1.一种基于自适应低秩参数高效微调的日志异常检测方法，其特征在于步骤如下：步骤1：自适应低秩参数高效微调网络结构以一个三层神经网络举例，输入层、隐藏层、输出层神经网络分别包含10，15，1个神经元；整个模型的参数包括两个权重矩阵W1，W2和两个偏置矩阵b1，b2；当模型训练阶段进行反向传播和梯度下降时，两个权重矩阵W1∈R15×10，W2∈R1×15和两个偏置矩阵b1∈R15×1，b2∈R1×1的参数需要被更新，参数总量为15×10+1×15+15×1+1×1＝181；X1＝XW1+b1X2＝X1W2+b21当应用LoRA时，对于权重矩阵W1，为它增加一个旁路矩阵W1′∈R15×10，并用两个因子矩阵A1∈Rr×10，B1∈R15×r对旁路矩阵进行低秩分解W1′＝B1A1，其中R表示两个因子矩阵规模；同样的，对于第二层的权重矩阵W2，也进行相同的操作；此时，模型参数包括来自两个旁路矩阵分解的四个因子矩阵A1，A2，B1，B2，两个原始的权重矩阵W1，W2，还有两个偏置矩阵b1，b2；网络模型如式2所示； 其中α是一个比例调整参数，当使用Adam进行优化时，α与学习速率大致相同；假设设置因子矩阵规模为2，模型训练阶段冻结模型的原始参数W1，W2，b1，b2，只更新四个因子矩阵B1∈R15×2，A1∈R2×10，B2∈R1×2，A2∈R2×15，此时需要更新的总参数量为15×2+2×10+1×2+2×15＝82；对于某层对应的输入为X，增加AdaLoRA的运算方式是： 以三层神经网络为例，增加自适应AdaLoRA后，网络可表示为如下形式： 其中σ表示激活函数，拟采用ReLU激活函数；步骤2：基于自适应低秩参数高效微调的日志异常检测1日志预处理收集到原始的日志数据之后，由于原始日志数据是半结构化的文本消息；不直接对其进行处理，而是通过日志预处理获取模型可以用来处理的日志数据形式；日志预处理包含两个步骤，日志解析，序列划分以及特征表达；首先采用Drain解析方式将每条原始日志消息进行解析获取每条日志对应的日志模板；大量的日志消息可能共用一个日志模板；获取日志模板之后，对日志模板进行编号，每个不同的日志模板分配一个模板ID，最后使用模板ID代替日志模板；因此对于每一条消息都可以用日志模板ID表示；然后用大小为W的固定窗口进行序列分割，最后将分割好的日志序列输入模型；2BERT-AdaLoRA为了自适应选择网络层进行微调，为预训练模型12层的自注意力和归一化层都添加AdaLoRA参数调优策略，名为BERT-AdaLoRA；AdaLoRA联合自注意层、归一化层、前馈神经网络层进行训练；注意力层捕捉输入序列中不同部分的重要性，并将其加权考虑；这样可以提高模型对关键信息的关注度，帮助模型更好地理解和建模输入序列；FNN层主要用于对输入序列进行特征提取和转换；通过多层神经网络的堆叠和非线性激活函数的引入，FNN层可以学习到更复杂的特征表示，进而提供更好的性能和泛化能力；AdaLoRA应用于BERT中的自注意层，分别为自注意层的三个权重矩阵添加了旁路矩阵；第a个自注意力头计算公式为： 将所有自注意力头的计算结果进行聚合并进行投影，则整个多头注意力层的运算结果为：MultiHeadX＝Concathead1,L,headAWo6其中是一个可学习的权重矩阵，do是多头注意力层的隐藏输出向量的维度；在输入层的嵌入向量和多头注意力之间进行残差连接，并进行归一化层处理同时加上自适应低秩微调层：X′＝normX+MultiHeadX+AdaLoRAX+MultiHeadX7然后将每一行X′输入一个带有ReLU激活函数的前馈神经网络层中；在前馈神经网络层之后紧接着进行归一化处理以及残差连接，其中W1,W2是可学习的权重矩阵； 经过L个transformer编码器处理后，可以得到日志序列中所有日志事件的特征向量T：T＝TrmLX9T的第一个特征向量是TCLS，即每个序列最开始的[CLS]标志经过模型运算得到的特征向量，TCLS总结了日志序列的整个上下文特征，被称为序列特征向量；3异常检测日志异常检测是一种典型的二分类任务；因此在序列特征向量TCLS上使用一个线性二分类器来进行异常检测，利用交叉熵损失函数来训练分类器；其中，TCLS,i为第i个日志序列的序列特征向量，为预测的序列对应的真实标签；

全文数据：

权利要求：

百度查询： 长沙理工大学 一种基于自适应低秩参数高效微调的日志异常检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD