买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜哈尔滨工业大学申请的专利一种基于注意力机制优化的网络数据命名实体识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119272770B 。

龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411190943.5，技术领域涉及：G06F40/295；该发明授权一种基于注意力机制优化的网络数据命名实体识别方法是由武跃;叶麟;刘春雨;魏子淇;赵以诚;张宏莉设计研发完成，并于2024-08-28向国家知识产权局提交的专利申请。

本一种基于注意力机制优化的网络数据命名实体识别方法在说明书摘要公布了：本发明公开了一种基于注意力机制优化的网络数据命名实体识别方法，属于命名实体识别的预训练模型优化技术领域。解决了现有技术中传统的网络数据命名实体识别方法因未考虑网络安全数据特点导致的识别结果精度较低的问题；本发明给定输入序列，将其输入BERT模型，生成三种嵌入并进行相加，得到词的最终输入，输入到引入BERT模型的Transformer‑XL模型，设置基础矩阵，引入内容嵌入矩阵和位置嵌入矩阵，得到内容嵌入基础矩阵和位置嵌入基础矩阵；获得句子中任意两个单词之间的注意力机制分数，对所有注意力机制分数的加和进行归一化，得到归一化后的注意力机制分数。本发明有效提升了命名实体识别的精度，可以应用于实体识别。

本发明授权一种基于注意力机制优化的网络数据命名实体识别方法在权利要求书中公布了：1.一种基于注意力机制优化的网络数据命名实体识别方法，其特征在于，包括以下步骤：S1.给定输入序列，将其输入BERT模型，生成三种嵌入并进行相加，得到词的最终输入；S2.构建引入BERT模型的Transformer-XL模型，输入词的最终输入，设置基础矩阵，引入内容嵌入矩阵和位置嵌入矩阵，得到内容嵌入基础矩阵和位置嵌入基础矩阵；S3.根据内容嵌入基础矩阵和位置嵌入基础矩阵，获得句子中任意两个单词之间的注意力机制分数，对所有注意力机制分数的加和进行归一化，得到归一化后的注意力机制分数；S4.根据归一化后的注意力机制分数，通过BERT模型所在的MLM模型进行随机掩码和注意力松绑，实现网络数据命名实体识别；所述S3中，归一化后的注意力机制分数H0的计算过程表示为： 其中，为两个处于句子中第一位置i和第二位置j的单词的注意力机制分数阵中的每个元素的注意力机制分数，为处于句子中第一位置i的内容嵌入查询矩阵，为处于句子中第二位置j的内容嵌入键矩阵，为处于句子中单词距离σi,j的第一位置i和第二位置j的位置嵌入键矩阵，为处于句子中单词距离σi,j的第一位置i和第二位置j的位置嵌入查询矩阵，T为矩阵转置，·为点积，softmax为激活函数；第一位置i和第二位置j的单词距离σi,j表示为：σi,j＝[K'*sigmoidi-j]其中，σ为距离函数，K'为自定义参数，[]表示取整操作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。