买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院信息工程研究所

摘要：本发明提出一种敏感词汇识别方法，包括：S1：输入文本到基础敏感词识别模型得到中间矩阵；S2：将中间矩阵输入敏感信息提取模块，变换得到和；S3：将和输入位置信息增强模块，得到四维矩阵；S4：将输入敏感信息筛选模块，得到筛选后的矩阵；S5：将筛选后的矩阵输入CRF层得到每个字的概率；S6：提取S2‑S4步的损失值，提高其在整体损失值中的比重。S7:通过敏感词识别模型模型进行迭代训练，保存精度最高的模型，进行词汇类别预测。本发明方法可提高敏感词汇的识别准确率。

主权项：1.一种敏感词汇识别方法，其特征在于，包括：步骤S1：构建BERT-WWM+BiLSTM+CRF基础敏感词识别模型，引入预训练模型BERT-WWM中的先验知识，输入的文本首先通过BERT-WWM层得到带有先验知识的字向量编码信息E，将E输入BiLSTM层，得到中间矩阵，所述中间矩阵具有上下文信息和整体的语义特征；步骤S2：构建敏感性增强信息筛选模块，即SEIF模块，包括：敏感信息提取模块、位置信息增强模块和敏感信息筛选模块；首先将所述中间矩阵输入所述敏感信息提取模块，通过线性层拆分调整和简化注意力机制，将所述中间矩阵映射到与所述简化注意力机制的查询因子和键值因子；并利用小波变换原理进行特征增强运算得到新的查询因子和新的键值因子；步骤S3：将和输入所述位置信息增强模块，采用位置增强的方式，引入旋转位置编码，将、旋转位置编码、三者相乘，得到一个四维矩阵，对进行归一化后得到，其中i、j是两个变量，代表每个字的位置信息，代表实体类别；步骤S4：将输入所述敏感信息筛选模块，将中[序列长度，序列长度]这两个维度的信息进行缩减，得到筛选后的矩阵，其中序列长度是指预训练模型BERT-WWM训练中一段文本的规定长度，它由文本真实长度和填位符构成，用于规范文本的训练；步骤S5：将所述筛选后的矩阵输入CRF层，得出最优序列的概率和信息值，根据每个字对应相关类别的最大概率值，组合出词的类别概率；步骤S6：计算敏感词识别模型的损失值，和所述SEIF模块的损失值，并计算得到总体损失值；步骤S7：通过多次对所述敏感词汇识别模型进行迭代训练，保存精度最高的模型，用于敏感词汇识别，最终预测出实体类别。

全文数据：

权利要求：

百度查询： 中国科学院信息工程研究所 敏感词汇识别方法及系统