申请/专利权人：北京深维智信科技有限公司

申请日：2023-08-23

公开（公告）日：2024-06-07

公开（公告）号：CN117113988B

主分类号：G06F40/284

分类号：G06F40/284;G06F40/30;G06F16/951;G06F18/214;G06F18/25;G06N3/006;G06N3/0442;G06N3/045;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.07#授权;2023.12.12#实质审查的生效;2023.11.24#公开

摘要：本发明属于敏感词汇屏蔽技术领域，公开了一种基于NLP的敏感词汇屏蔽方法及系统。所述的方法包括如下步骤：构建敏感词汇语料库和非敏感词汇语料库；使用NLP算法，构建敏感词汇识别模型；对待分析文件进行文本提取；使用分词算法，对待分析文本进行分词处理；将待分析词序列输入敏感词汇识别模型进行敏感词汇识别；根据敏感词汇语料库，对待分析词序列的敏感词汇进行核验，若核验结果为真实，则使用屏蔽符号替换待分析词序列的敏感词汇；获取敏感词汇屏蔽后文本，并将敏感词汇屏蔽后文本加载至待分析文件，得到敏感词汇屏蔽后文件。本发明解决了现有技术存在的屏蔽敏感词汇的准确率低，效率低以及实用性低的问题。

主权项：1.一种基于NLP的敏感词汇屏蔽方法，其特征在于：包括如下步骤：构建敏感词汇语料库和非敏感词汇语料库，包括如下步骤：使用爬虫工具，在互联网中抓取中文或英文的若干已知的敏感词汇；抓取若干已知的敏感词汇的拼音、近义词汇以及同音词汇；对若干已知的敏感词汇及其拼音、近义词汇以及同音词汇进行数据压缩处理、数据降噪处理以及数据清洗处理，得到处理后的若干已知的敏感词汇及其拼音、近义词汇以及同音词汇；根据处理后的若干已知的敏感词汇及其拼音、近义词汇以及同音词汇，构建敏感词汇语料库；使用爬虫工具，在互联网中采集中文或英文的若干通用词汇；根据敏感词汇语料库，对若干通用词汇中混入的已知的敏感词汇及其拼音、近义词汇以及同音词汇进行剔除，得到若干非敏感词汇；对若干非敏感词汇进行数据压缩处理、数据降噪处理以及数据清洗处理，得到处理后的若干非敏感词汇；根据处理后的若干非敏感词汇，构建非敏感词汇语料库；根据敏感词汇语料库和非敏感词汇语料库，使用NLP算法，构建敏感词汇识别模型，包括如下步骤：任意提取敏感词汇语料库中的已知的敏感词汇及其拼音、近义词汇以及同音词汇和非敏感词汇语料库中的非敏感词汇，构成若干训练文本数据；使用NLP算法中的BERT-BILSTM-CRF算法，构建初始的敏感词汇识别模型；所述的敏感词汇识别模型包括依次连接的输入层、设置有BERT预训练语言子模型的向量表征层、BILSTM层、特征融合层、CRF层以及输出层；引入Circle混沌序列初始化和动态反向学习策略对传统的WOA寻优算法进行改进，得到IWOA寻优算法；Circle混沌序列初始化的公式为： 式中，xi+1,j+1为Circle混沌映射生成的鲸鱼种群的初始位置；xi,j为随机生成的鲸鱼种群的初始位置；mod·为mod函数；i为鲸鱼个体指示量；j为维度指示量；动态反向学习策略的公式为：x'ijt＝kajt+bjt-xijt式中，x'ijt、xijt分别为第i鲸鱼个体第j维的反向位置和正向位置；ajt、bjt分别为当前鲸鱼种群第j维的上界和下界；k为递减惯性因子，k＝0.9-0.5DDmax；D、Dmax分别为当前迭代次数和最大迭代次数；t为时刻指示量；使用IWOA寻优算法优化初始的敏感词汇识别模型的网络参数，包括如下步骤：将BILSTM层的隐含层神经元数量、隐含层神经元的初始权值和初始阈值以及初始学习率作为优化目标，即IWOA种群的鲸鱼个体的位置；初始化IWOA寻优算法的参数，并使用Circle混沌序列初始化IWOA种群；计算IWOA种群中每个鲸鱼个体的适应度值；进行包围猎物行为、泡泡网攻击行为或搜索猎物行为，更新鲸鱼个体和IWOA种群；对更新后的IWOA种群进行动态反向学习，得到IWOA种群中每个正向解对应的反向解，根据IWOA种群中所有正向解和所有反向解的鲸鱼个体的适应度值，筛选最优鲸鱼个体及其最优适应度值；若最优适应度值满足要求或迭代次数满足要求，输出最优鲸鱼个体对应的全局最优解的位置，即BILSTM层最优的隐含层神经元数量、隐含层神经元的初始权值和初始阈值以及初始学习率，否则，重复更新鲸鱼个体和IWOA种群；根据BILSTM层最优的隐含层神经元数量、隐含层神经元的初始权值和初始阈值以及初始学习率，设置初始的敏感词汇识别模型的网络参数，并输入若干训练文本数据进行优化训练，得到最优的敏感词汇识别模型；对待分析文件进行文本提取，得到待分析文本；使用分词算法，对待分析文本进行分词处理，得到待分析词序列；将待分析词序列输入敏感词汇识别模型进行敏感词汇识别，得到待分析词序列的敏感词汇；根据敏感词汇语料库，对待分析词序列的敏感词汇进行核验，若核验结果为真实，则使用屏蔽符号替换待分析词序列的敏感词汇，得到敏感词汇屏蔽后词序列，否则，将待分析词序列重新进行敏感词汇识别；根据敏感词汇屏蔽后词序列，得到敏感词汇屏蔽后文本，并将敏感词汇屏蔽后文本加载至待分析文件，得到敏感词汇屏蔽后文件。

全文数据：

权利要求：

百度查询： 北京深维智信科技有限公司 一种基于NLP的敏感词汇屏蔽方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD