申请/专利权人：北京惠每云科技有限公司

申请日：2024-04-07

公开（公告）日：2024-06-25

公开（公告）号：CN117993391B

主分类号：G06F40/295

分类号：G06F40/295;G16H50/70

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.05.24#实质审查的生效;2024.05.07#公开

摘要：本发明涉及一种医学命名实体识别和临床术语标准化方法及装置，该方法包括：获取具有标注的命名实体识别数据和具有标注的临床术语标准化数据，并将命名实体识别数据和临床术语标准化数据转化为问答对形式的生成式数据格式，得到训练数据。通过训练数据对大语言模型进行参数微调，并在大语言模型的输出数据达到设定预期时，对微调后的大语言模型进行部署。获取当前病历文本，并将当前病历文本作为微调后的大语言模型的输入，以输出当前病历文本中的实体以及实体对应的标准化术语。该方法将医学命名实体识别和临床术语标准化任务，合并成一个自然语言生成（NLG）任务，使得模型预测效果较好，并降低了模型训练、部署以及维护复杂程度。

主权项：1.一种医学命名实体识别和临床术语标准化方法，其特征在于，所述方法包括：获取具有标注的命名实体识别数据和具有标注的临床术语标准化数据，并将所述命名实体识别数据和临床术语标准化数据转化为问答对形式的生成式数据格式，得到训练数据；通过所述训练数据对大语言模型进行参数微调，并在所述大语言模型的输出数据达到设定预期时，对微调后的所述大语言模型进行部署；获取当前病历文本，并将所述当前病历文本作为微调后的所述大语言模型的输入，以输出所述当前病历文本中的实体以及所述实体对应的标准化术语；其中，所述通过所述训练数据对大语言模型进行参数微调，并在所述大语言模型的输出数据达到设定预期时，对微调后的所述大语言模型进行部署，包括：在预训练语言模型的一侧添加旁路，并在模型训练时固定所述预训练语言模型的模型参数，以训练所述旁路中的降维矩阵和升维矩阵，且所述预训练语言模型的输入输出维度不变；调用所述预训练语言模型对所述降维矩阵和升维矩阵与所述预训练语言模型的模型参数进行叠加，以获取叠加模型参数；所述通过所述训练数据对大语言模型进行参数微调，并在所述大语言模型的输出数据达到设定预期时，对微调后的所述大语言模型进行部署，还包括：通过随机高斯分布对所述降维矩阵进行初始化处理，并调用0矩阵对所述升维矩阵进行初始化处理，以使所述预训练语言模型训练初始所述旁路的矩阵为所述0矩阵；以ChatGLM2-6B开源模型作为模型底座，并调用LoRA高效参数对所述训练数据进行微调，结合所述叠加模型参数，对所述大语言模型进行训练，得到微调后的所述大语言模型。

全文数据：

权利要求：

百度查询： 北京惠每云科技有限公司 医学命名实体识别和临床术语标准化方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD