买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜哈尔滨工业大学申请的专利基于BERT预训练模型的网络安全NER数据增广方法、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119167936B 。

龙图腾网通过国家知识产权局官网在2025-04-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411190960.9，技术领域涉及：G06F40/295；该发明授权基于BERT预训练模型的网络安全NER数据增广方法、电子设备及存储介质是由叶麟;武跃;苏雨恒;刘春雨;张云婷;彭万宗;张宏莉设计研发完成，并于2024-08-28向国家知识产权局提交的专利申请。

本基于BERT预训练模型的网络安全NER数据增广方法、电子设备及存储介质在说明书摘要公布了：基于BERT预训练模型的网络安全NER数据增广方法、电子设备及存储介质，属于网络安全数据处理技术领域。为提高网络安全数据的效率和准确度，本发明采集网络空间安全报告，得到网络空间安全数据；使用BIO方法标注采集的网络空间安全报告，得到的文本序列和标签序列，作为原始数据集；构建BERT预训练模型；将网络空间安全数据进行掩码处理，然后输入到BERT预训练模型中进行训练，得到用于网络安全NER数据的BERT训练模型；将原始数据集进行掩码处理，输入到用于网络安全NER数据的BERT训练模型，将得到的用于网络安全NER数据的BERT训练结果和步骤S2得到的原始数据集进行合并后得到增广数据集。

本发明授权基于BERT预训练模型的网络安全NER数据增广方法、电子设备及存储介质在权利要求书中公布了：1.一种基于BERT预训练模型的网络安全NER数据增广方法，其特征在于，包括如下步骤：S1.采集网络空间安全报告，得到网络空间安全数据，待用；S2.使用BIO方法标注步骤S1采集的网络空间安全报告，得到的文本序列和标签序列，作为原始数据集，待用；S3.构建BERT预训练模型；S4.将步骤S1得到的网络空间安全数据进行掩码处理，然后输入到BERT预训练模型中进行训练，得到用于网络安全NER数据的BERT训练模型；步骤S4的具体实现方法包括如下步骤：S4.1.将步骤S1得到的网络空间安全数据首先进行原始文本进行片段划分，对于每个片段，每当继续添加一句文本时，对输入片段的整体长度进行判断，如果其长度大于模型要求的最大长度max_length，则放弃添加该句文本并保存当前的文本片段；S4.2.对文本片段进行划分后，进行掩码处理，如果为非实体部分且0-1随机数小于替换概率p，则将其修改为[mask]掩码；S4.3.使用步骤S3得到的BERT预训练模型对替换后的带有掩码的文本片段进行训练，设置指替换后的带有掩码的文本片段，有标记数据集为Dtrain，替换概率为p，领域适应性训练模型之后的BERT为G；BERT自动化的生成三种嵌入，分别为词嵌入ei、位置嵌入pi和分段嵌入di；将词嵌入、位置嵌入和分段嵌入相加，形成词的最终输入表示hi，表达式为：hi＝ei+pi+diBERT由多层Transformer组成，有L层，每层的输出表示为其中l＝1,2,3……L；每一层中的自注意力机制的表达式为： 其中，WQ、WK、WV分别为可学习的查询矩阵的权重矩阵、键矩阵的权重矩阵、值矩阵的权重矩阵，dk为缩放因子，Q为查询矩阵、K为键矩阵、V为值矩阵；S4.4.在训练过程中使用交叉熵损失函数来衡量预测概率分布和实际标签之间的差异，对每个词xi的交叉熵损失的表达式为： 其中，为第i个词的真实标签；则总损失是所有词的交叉熵损失之和，表达式为： 最终训练目标为找到一组参数使得该损失最小化，得到用于网络安全NER数据的BERT训练模型；S5.将步骤S2得到的原始数据集进行掩码处理，输入到步骤S4得到的用于网络安全NER数据的BERT训练模型，输出用于网络安全NER数据的BERT训练结果，将得到的用于网络安全NER数据的BERT训练结果和步骤S2得到的原始数据集进行合并后，得到基于BERT预训练模型的网络安全NER数据增广数据集。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。