买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安交通大学

摘要：本发明一种基于Bert和残差自注意力机制的政务文件主题分类方法，包括政务文件原始特征抽取和选择、政务文件原始特征清洗和优化、文本预训练以及基于残差自注意力机制的主题标签分类，本发明针对政务数据多源异构的特点，提出了统一的特征抽取、异常处理和特征选择方法，设计了具有针对性的特征清洗和优化策略，构建基于Bert预训练模型和残差自注意力机制的文件主题分类模型，解决了传统文件主题分类方法效率低和缺乏自适应能力的问题，实验基于公开政务文件数据集，在面向多达70种主题标签分类的实际应用场景中，分类准确率高达96.72％。

主权项：1.一种基于Bert和残差自注意力机制的政务文件主题分类方法，其特征在于，包括如下步骤：步骤1，政务文件原始特征抽取和选择；所述特征选择是使用多层感知机模型对抽取得到的各特征与主题标签的相关性分别进行测试，确定各特征与主题标签的相关性强弱，并根据测试结果，选择模型预测准确率高于设定值的原始特征文本；步骤2，政务文件原始特征清洗和优化；所述特征优化是对原始特征清洗后得到的低噪声特征文本，提取文件名称和文件表头的关键词；步骤3，文本预训练；基于优化后得到的特征文本，使用Bert预训练模型进行特征向量的嵌入；步骤4，基于残差自注意力机制的主题标签分类；基于特征向量，构建残差自注意力模型进行主题分类模型的训练、调优、保存及测试，得到最终的文件主题分类模型，并利用最终的文件主题分类模型对政务文件进行主题分类；其中，所述使用Bert预训练模型进行特征向量的嵌入，包括以下步骤：（1）自定义加载中英文开源Bert预训练模型，自定义选择tokenizer规则及训练速率；（2）自定义选择句首无明显语义信息的[CLS]空位符向量作为文本句向量输出，或选取Encoder端最后一层编码层有效字符的特征向量平均值作为文本句向量输出；所述构建残差自注意力模型进行主题分类模型的训练、调优、保存及测试，包括以下步骤：（1）对所有特征向量进行降维和拼接，形成最终的文件特征向量；（2）基于文件特征向量生成自注意力模型序列向量，并接入Attention层计算相应序列的注意力值，得到相应序列的注意力值后，与原输入相加并再次接入Attention层，构建多层残差自注意力神经网络，以获得最终的序列注意力值；（3）将序列注意力值向量进行拼接，经过多层全连接层和Softmax归一化后得到预测结果，全局损失函数采用交叉熵损失函数；（4）使用早停策略和衰减学习率策略进行多次调参优化后，固化保存最优模型，并进行测试和评价。

全文数据：

权利要求：

百度查询： 西安交通大学 一种基于Bert和残差自注意力机制的政务文件主题分类方法