买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学华西医院;金堂县第一人民医院

摘要：本发明公开了一种基于有监督微调的体检报告解读方法、系统、设备及介质，属于人工智能领域中的体检报告解读，其目的在于解决现有体检报告解读方法、解读系统存在的准确性不足、解读单一以及缺乏个性化解读的问题。复合输出层包括三个并行的全连接层，最后一层Transformer块的输出均作为三个全连接层的输入。通过模型结构的创新设计以及对顶部的4个Transformer块进行微调，提升了模型在特定任务上的表现，又有效减少了计算成本和过拟合风险，还能够更精准地理解复杂医学文本，提升模型对体检报告解读的准确性，实现了资源的高效利用。

主权项：1.一种基于有监督微调的体检报告解读方法，其特征在于，包括以下步骤：步骤S1，获取样本数据及标签；获取体检报告样本数据，并对体检报告样本数据进行标注，得到标签数据；步骤S2，构建体检报告解读模型；构建体检报告解读模型，体检报告解读模型包括主干网络、复合输出层，主干网络包括依次堆叠设置的32层Transformer块，复合输出层包括三个并行的全连接层，最后一层Transformer块的输出均作为三个全连接层的输入；每个Transformer块均包括依次设置的掩码多头注意力机制模块、第一均方根归一化模块、分组查询注意力机制模块、第二均方根归一化模块、第一多头注意力机制模块、第三均方根归一化模块、第二多头注意力机制模块、第四均方根归一化模块、多层感知机层和第五均方根归一化层，掩码多头注意力机制模块的输入与输出进行残差连接后作为第一均方根归一化模块的输入，第一均方根归一化模块的输出与分组查询注意力机制模块的输出进行残差连接后作为第二均方根归一化模块的输入，第二均方根归一化模块的输出与第一多头注意力机制模块的输出进行残差连接后作为第三均方根归一化模块的输入，第三均方根归一化模块的输出与第二多头注意力机制模块的输出进行残差连接后作为第四均方根归一化模块的输入，第四均方根归一化模块的输出与多层感知机层的输出进行残差连接后作为第五均方根归一化层的输入；步骤S3，训练体检报告解读模型；采用步骤S1获取的样本数据及标签数据对步骤S2构建的体检报告解读模型进行训练，得到成熟的体检报告解读模型；步骤S4，报告实时解读；获取待解读的体检报告，并输入步骤S3得到的成熟的体检报告解读模型，体检报告解读模型输出解读结果；其中，解读结果包括由对应全连接层输出的异常检测结果、详细解读文本以及个体情况健康建议；步骤S3中，体检报告解读模型在训练时，综合损失函数为： 其中，表示交叉熵损失，表示格式一致性损失，表示个性化解读正则项损失，、、均表示超参数，表示真实标签，表示预测的概率，表示词汇表的大小，、分别表示真实文本和预测文本中第个格式标签的位置，表示格式标签的总数，、分别表示真实文本和预测文本中第个个性化特征的位置，表示个性化特征的总数；步骤S3中，体检报告解读模型训练时，仅对顶层的4个Transformer块进行微调，其余Transformer块的参数保持不变；对顶层的4个Transformer块进行微调时，训练的轮数为15、批次大小为32；初始学习率设置为3e-5，在每轮学习后使用步长学习率调度器来调整学习率，并使用AdamW优化器自动调整学习率；步长学习率调度器的步长设定为每个epoch，衰减系数设定为0.5；还包括知识库，知识库的构建方法为：收集所有体检实验室项目的参考区间、项目简介、临床意义以及综合解读注意要点，并整理成初始文档；将初始文档中的语料分割成文本块，且使用嵌入模型将文本块中的文本数据转化为向量矩阵；利用向量矩阵构建索引，并写入向量数据库；使用时，向体检报告解读模型输入提问，体检报告解读模型将提问输入知识库并从知识库的向量数据库中召回与提问最相关的数据，知识库将召回的数据输入体检报告解读模型，体检报告解读模型输出详细解读文本。

全文数据：

权利要求：

百度查询： 四川大学华西医院 金堂县第一人民医院 基于有监督微调的体检报告解读方法、系统、设备及介质