申请/专利权人：中南大学

申请日：2024-02-05

公开（公告）日：2024-04-23

公开（公告）号：CN117708339B

主分类号：G06F16/35

分类号：G06F16/35;G06F16/33;G06N3/0455;G06N3/0464;G06N3/08;G16H10/60

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2024.04.02#实质审查的生效;2024.03.15#公开

摘要：本发明实施例中提供了一种基于预训练语言模型的ICD自动编码方法，属于数据处理技术领域，具体包括：构建ICD自动编码数据集；形成映射集；构造前缀树，结合前缀树形成LEDT模型；将ICD自动编码数据集分为训练集和验证集；分别将训练集和验证集中的临床文本和其对应的ICD代码分割；利用seq2seq训练数据集训练LEDT模型；将待编码数据集中的输入文本输入目标模型，并在目标模型的解码生成过程中，使用前缀树对生成的字符进行限制，同时使用集束算法保留输出得分最高的k个预测描述，最终利用映射集将输出的k个预测描述转换为对应的ICD代码作为预测输出。通过本发明的方案，提高了编码效率、精准度和适应性。

主权项：1.一种基于预训练语言模型的ICD自动编码方法，其特征在于，包括：步骤1，根据电子病历构建ICD自动编码数据集，其中，所述ICD自动编码数据集包括临床文本和其对应的ICD代码；步骤2，从ICD代码描述库中获取ICD代码对应的代码描述，并形成映射集；步骤3，对代码描述进行分词，得到ids序列并据此构造前缀树，在预训练模型的基础上调整编码器的输入范围和视野范围，结合前缀树形成LEDT模型；所述步骤3具体包括：步骤3.1，对代码描述进行分词并转换成预训练语言模型中的ids序列，在该ids序列前加上预训练语言模型生成过程中所使用的开始符号的ids，在ids序列末尾添加上模型生成过程中所使用的结束符号的ids，构造模型生成的目标代码ids序列；步骤3.2，对全部代码描述的ids序列进行上述操作，构造前缀树；步骤3.3，扩展预训练模型中编码器可处理的输入数据的范围，并设置其注意力的视野范围，结合前缀树形成LEDT模型；步骤4，将ICD自动编码数据集分为训练集和验证集；步骤5，分别将训练集和验证集中的临床文本和其对应的ICD代码分割，得到文本序列和其对应的ICD代码序列，并将ICD代码序列通过映射集得到对应的代码描述，据此形成seq2seq训练数据集和seq2seq验证数据集；步骤6，采用teacherforcing方法，利用seq2seq训练数据集训练LEDT模型，更新模型参数，在每个训练轮次结束之后，将seq2seq验证数据集输入到LEDT模型中，记录损失最小时的模型参数；步骤7，选择在seq2seq验证数据集中损失最小的模型参数得到目标模型，将待编码数据集中的输入文本输入目标模型，并在目标模型的解码生成过程中，使用前缀树对生成的字符进行限制，使得LEDT模型生成的字符串是代码描述中的子集，同时使用集束算法保留输出得分最高的k个预测描述，最终利用映射集将输出的k个预测描述转换为对应的ICD代码作为预测输出；所述步骤7具体包括：步骤7.1，将待编码数据集中的输入文本输入目标模型，目标模型的分词器将输入文本分词并转换为ids序列，利用目标模型的编码器将其进行编码得到输入文本的上下文向量；步骤7.2，设定解码器生成的第一个字符为开始字符；步骤7.3，以上一时间步的解码器隐状态和预测描述作为解码器输入，更新解码器隐状态；步骤7.4，将更新后的解码器隐状态送入一个线性层网络，计算当前时间步的输出作为预测描述；步骤7.5，查询前缀树，将不属于前缀树的预测描述的符号得分概率置零；步骤7.6，使用集束搜索算法保留得分最高k个的预测描述；步骤7.7，重复步骤7.3至步骤7.6直至完成全部时间步预测，得到k个预测描述并利用映射集将输出的k个预测描述转换为对应的ICD代码作为预测输出。

全文数据：

权利要求：

百度查询： 中南大学 一种基于预训练语言模型的ICD自动编码方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD