买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京印刷学院

摘要：本发明公布了一种融合优化预训练模型与图卷积网络模型的文本分类方法，涉及自然语言处理技术领域；分别通过进行特征插值的优化的预训练模型和通过设计尺度融合机制的图卷积网络模型提取文本特征并进行分类预测，再将两种预测结果进行加权融合，实现高效的文本分类。利用本发明提供的更为全面的文本分类技术，能够有效地提升文本分类的准确度，可广泛应用于多个领域。

主权项：1.一种融合优化预训练模型与图卷积网络模型的文本分类方法，其特征在于，分别通过进行特征插值优化预训练模型和通过设计尺度融合机制的图卷积网络模型提取文本特征并进行预测，再将两种预测结果进行加权融合，实现高效的文本分类；所述方法包括如下步骤：1根据文本数据集中的文档和单词的相关度构建文本数据集对应的异构图；异构图的节点表示文档或单词的特征表示，异构图的边权重代表文档与单词之间或单词与单词之间的相关度；将异构图所有边的信息存入邻接矩阵中；2通过优化预训练模型提取文本数据的特征表示并得到预测结果；包括：对原始文本数据样本进行数据增强，生成两个数据增强样本；将原始样本和两个增强样本输入预训练模型，得到文本序列；并在每个文本序列对应位置添加文本序列分类标记；批量加载原始样本和增强样本并输入到预训练模型中进行特征提取和传播；在特征提取和传播的过程中：从预训练模型的所有层中随机选择两层进行特征插值；在第一层中，将原始样本和第一个增强样本传播得到的隐藏状态进行加权混合；第二层中，将原始样本和第二个增强样本传播得到的隐藏状态进行加权混合；两次插值操作得到的结果均作为原始样本的隐藏状态在模型的每一层中继续传播，使得预训练模型学习不同特征的组合；再将预训练模型最后一层的隐藏状态作为最终提取的特征表示并输出；将异构图的节点特征赋值为优化后预训练模型的输出特征；优化后的预训练模型的输出特征经Softmax分类层处理，输出为每个文本类别的概率，即预测结果；3基于图卷积网络模型进行特征提取和传播：将异构图的节点特征和邻接矩阵分批传入改进的深层的图卷积网络模型；节点特征通过模型的一系列卷积层进行传播和变换，每一层均利用残差连接和恒等映射更新节点特征；设计新的特征尺度融合机制，在特征进行传播和变换的过程中，通过特征尺度融合机制进行特征提取；在每一卷积层中进行多个卷积操作，每个卷积操作使用不同幂次的邻接矩阵提取不同尺度的特征；再将不同尺度的特征进行加权求和；将最后一个输出层的特征表示作为最终提取的特征输入到Softmax分类层中处理，输出每个类别的概率，即预测结果；4将两种预测结果进行加权融合，得到最终的文本分类结果。

全文数据：

权利要求：

百度查询： 北京印刷学院 融合优化预训练模型与图卷积网络模型的文本分类方法