买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江南大学;大连理工大学;吉林大学;苏州大学

摘要：本发明涉及自然语言处理技术领域，提供了一种基于大模型的掩码增强命名实体识别方法，该方法包括：采集待识别文本数据；预处理得到输入序列，输入训练好的识别模型得到识别结果；识别模型训练过程包括：基于设定掩码策略对训练输入序列进行掩码处理得到掩码输入序列，送入BERT模型得到实体、掩码上下文表示特征；执行命名实体识别任务和预测掩码任务且共享参数，得到实体预测值和掩码预测值；基于实体上下文表示特征和实体预测值计算第一损失函数，基于掩码预测值计算第二损失函数；更新模型参数；评估模型性能，重复训练直至性能达到设定要求。本发明能够充分理解语义，泛化能力较强，语境依赖性捕捉能力较强，误识别和漏识别情况较少。

主权项：1.一种基于大模型的掩码增强命名实体识别方法，其特征在于，包括：步骤S1：采集待识别文本数据；步骤S2：对所述待识别文本数据进行预处理，得到输入序列；步骤S3：将所述输入序列输入训练好的识别模型，得到识别结果；其中，所述识别模型的训练过程包括：采集训练文本数据；对所述训练文本数据进行预处理，得到训练输入序列；基于设定的掩码策略对所述训练输入序列进行掩码处理，得到掩码输入序列；将所述训练输入序列和所述掩码输入序列送入BERT模型，得到实体上下文表示特征和掩码上下文表示特征；执行命名实体识别任务和预测掩码任务且共享参数；在所述命名实体识别任务中，采用NER-Classifier对所述实体上下文表示特征进行识别和分类得到实体预测值；在所述预测掩码任务中，采用MLM-Classifier对所述掩码上下文表示特征进行token预测得到掩码预测值；基于所述实体上下文表示特征和所述实体预测值计算第一损失函数，基于所述掩码预测值计算第二损失函数；在每个训练周期内基于所述第一损失函数和所述第二损失函数进行梯度计算以更新所述识别模型的参数；在每个训练周期结束时基于所述实体预测值和所述掩码预测值进行性能评估；重复训练直至所述识别模型的性能达到设定要求。

全文数据：

权利要求：

百度查询： 江南大学 大连理工大学 吉林大学 苏州大学 一种基于大模型的掩码增强命名实体识别方法