买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广西师范大学

摘要：本发明公开了一种基于BERT神经网络的慕课帖子分类方法，能够快速区分出慕课论坛中的紧急帖子和非紧急帖子，涉及人工智能与智慧教育的交叉领域。首先，使用BERT模型的输出作为动态词向量，使同一个单词在不同的慕课帖子的上下文中表示不同的语义，以便下游网络能更精确的提取出文本特征。其次，利用增强CNN和并行CNN对BERT的输出进行局部语义提取，再利用Bi‑GRU进行深度局部特征提取，生成局部分类向量；同时，利用双层逐点前馈网络和多头自注意力对BERT的输出进行全局语义细化，生成全局分类向量。最终，组合全局和局部分类向量，获得更具表现力的分类向量，提高紧急帖子分类的F1分数。

主权项：1.一种基于BERT神经网络的慕课帖子分类方法，能够快速区分出慕课论坛中的紧急帖子和非紧急帖子，其特征在于包括以下步骤：S1.将慕课帖子送入一个BERT神经网络进行处理，得到慕课帖子的BERT编码；S2.将慕课帖子的BERT编码送入一个由卷积神经网络CNN和双向GRU网络组成的局部语义细化层，得到慕课帖子的局部细化分类子向量；S3.将慕课帖子的BERT编码送入一个由双层逐点前馈网络、线性变换层、多头自注意力与门控组成的全局语义细化层，得到慕课帖子的全局细化分类子向量；S4.将慕课帖子的局部细化分类子向量和全局细化分类子向量连结起来，得到慕课帖子的分类向量，然后将分类向量送入分类层，得出慕课帖子关于紧急帖子与非紧急帖子的类别标签；所述GRU网络是Cho等人在论文“ChoK,vanMerri¨enboerB,GulcehreC,BahdanauD,BougaresF,SchwenkH,BengioY2014LearningphraserepresentationsusingRNNencoder-decoderforstatisticalmachinetranslation.In:Proceedingsofthe2014ConferenceonEmpiricalMethodsinNaturalLanguageProcessing,pp1724-1734.”中提出的门控循环单元GatedRecurrentUnit，GRU网络；所述BERT神经网络是指GoogleAILanguage在论文“DevlinJ,ChangMW,LeeK,etal.Bert:Pre-trainingofdeepbidirectionaltransformersforlanguageunderstanding[J].arXivpreprintarXiv:1810.04805,2018”中提出的BidirectionalEncoderRepresentationsfromTransformersBERT语言模型；所述步骤S1具体包括：S1.1将慕课帖子的文本句子S送入BERT的分词器Tokenizer，得到慕课帖子在BERT中的子词序列其中n为X的长度，dw为子词编码的维度；S1.2将慕课帖子的子词序列X送入BERT的编码器，得到慕课帖子的BERT编码H∈Rn*d，其中d为BERT中隐藏状态的维度；所述步骤S2具体包括：S2.1将慕课帖子的BERT编码H送入一个窗口大小为1的增强卷积神经网络enhCNN中进行语义增强学习，得到慕课帖子的增强编码计算过程如下所示： 其中，enhCNN·表示窗口大小为1的增强卷积神经网络enhCNN，函数σ1·表示神经网络中的ReLU激活函数，分别表示enhCNN中所有滤波器的权重与偏置，e为enhCNN中滤波器filter的个数，“*”表示卷积运算；S2.2将慕课帖子的增强编码分别送入三个窗口大小为2、3、4的并行卷积神经网络CNN2、CNN3、CNN4中进行深度局部特征学习，并采用左右边界0填充，得到慕课帖子的三个并行局部特征计算过程如下所示： 其中，CNNi·表示窗口大小为i的卷积神经网络，分别表示窗口大小为i的卷积神经网络中所有滤波器的权重与偏置，所述id表示i与d相乘，dL＝d3表示卷积神经网络中滤波器filter的个数，且三个并行卷积神经网络的滤波器filter的个数都为dL；S2.3将慕课帖子的三个并行局部特征的隐藏状态连接起来，得到慕课帖子的组合局部特征计算过程如下所示： 其中，[；]表示连接操作；S2.4将慕课帖子的组合局部特征送入一个双向GRU网络进行局部特征的深度语义细化，并将每个方向的GRU网络中最后一个时间步所对应的隐藏状态连接起来，得到慕课帖子的局部细化分类子向量ZL，计算过程如下所示： 其中，分别表示从左到右、从右到左的GRU网络，分别表示与中第一个时间步到第n个时间步的隐藏状态序列，分别表示与的输出，dr表示GRU网络中隐藏状态的维度；所述步骤S3具体包括：S3.1将慕课帖子的BERT编码H送入一个双层逐点前馈网络，得到慕课帖子的前馈细化语义计算过程如下所示： 其中，FFN·表示一个双层逐点前馈网络，分别为FFN·中第一层逐点前馈网络的权重与偏置，分别为FFN·中第二层逐点前馈网络的权重与偏置；S3.2将慕课帖子的前馈细化语义与BERT编码H的隐藏状态连接起来，得到慕课帖子的前馈连接细化语义并对其进行线性变换与多头注意力处理，得到慕课帖子的前馈融合细化语义计算过程如下所示： 其中，分别为线性变换层的权重与偏置，MHSA·表示一个缩放点积多头自注意力，所述缩放点积多头自注意力为论文“VaswaniA,ShazeerN,ParmarN,etal.Attentionisallyouneed[J].Advancesinneuralinformationprocessingsystems,2017,30.”所提出；S3.3将慕课帖子的前馈融合细化语义的平均池化向量与BERT分类符[CLS]在中的隐藏状态hcls∈Rd连接起来，得到慕课帖子的前馈细化分类子向量Zf，计算过程如下所示： 其中，avgPool·表示平均池化操作；S3.4慕课帖子的前馈细化分类子向量Zf送入一个门控进行过滤，得到慕课帖子的全局细化分类子向量Zg，计算过程如下所示：δ＝σ2WsZf+bs∈R2d11zg＝δ⊙Zf∈R2d12其中，δ为Zf的门控系数，Ws∈R2d×2d、bs∈R2d分别为门控中的权重与偏置，σ2·表示神经网络中的sigmoid激活函数；所述步骤S4具体包括：S4.1将慕课帖子的局部细化分类子向量ZL和全局细化分类子向量Zg连结起来，得到慕课帖子的分类向量Z，计算过程如下所示： S4.2将分类向量Z送入分类层，得到慕课帖子关于紧急帖子与非紧急帖子的类别标签计算过程如下所示：o＝WoZ+bo14p＝Softmaxo15 其中，o∈R|Ω|为分类向量Z在标签集合Ω＝{“紧急帖子”，“非紧急帖子”}上的置信向量，|Ω|为标签集合Ω中的标签个数，bo∈R|Ω|分别为分类层中的权重与偏置，p∈R|Ω|为慕课帖子在标签集合Ω上的概率分布向量，Softmax·表示神经网络中的归一化指数函数，表示求使得py为最大值的Ω中标签y，py表示p中标签y的概率，y为Ω中的任意一个标签。

全文数据：

权利要求：

百度查询： 广西师范大学 一种基于BERT神经网络的慕课帖子分类方法