申请/专利权人：安徽省立医院(中国科学技术大学附属第一医院)

申请日：2024-03-27

公开（公告）日：2024-06-14

公开（公告）号：CN118197526A

主分类号：G16H20/00

分类号：G16H20/00;G16H50/70;G06F40/126;G06N3/0455;G06N3/084

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.07.02#实质审查的生效;2024.06.14#公开

摘要：本发明涉及管理方案生成领域，公开了一种基于注意力机制及混合专家系统的慢病管理方案生成方法；将患者信息输入到完成训练的生成模型，得到慢病管理方案；生成模型的训练过程包括：使用大模型文本编码模块，将患者信息文本编码为文本向量；将文本向量输入注意力模块，得到混合专家系统中混合专家模型的权重；将文本向量以及混合专家系统权重输入混合专家系统，得到混合专家模型输出的中间方案表征；将中间方案表征输入整合模块，生成慢病管理方案；构建损失函数；基于损失函数并使用反向传播和梯度下降算法，实现生成模型的训练。本发明提出了基于大模型与混合专家网络的方法，以解决现有使用单一模型难以有效生成不同方面慢病管理方案的问题。

主权项：1.一种基于注意力机制及混合专家系统的慢病管理方案生成方法，其特征在于，将患者信息文本输入到完成训练的生成模型，得到慢病管理方案；所述生成模型包括大模型文本编码模块、注意力模块、混合专家系统和整合模块，其中混合专家系统包括M个混合专家模型；所述生成模型的训练过程包括：步骤一，使用大模型文本编码模块，将患者信息文本T编码为文本向量t；步骤二，将文本向量t输入注意力模块，得到混合专家系统中M个混合专家模型的权重w1，...，wm，...，wM，其中，wm为第m个混合专家模型的权重；具体包括以下步骤：S21，注意力模块包括M个历史方案向量h1，...，hm，...，hM；注意力模块使用一个全连接层将文本向量t映射为问询向量q：q＝ReLUWA·t+bA；其中，WA与bA为可训练的参数，ReLU·为ReLU激活函数；S22，使用第m个历史方案向量hm以及问询向量q，计算第m个混合专家模型的权重wm： S23，重复步骤S22，得到所有混合专家模型的权重w1，...，wm，...，wM；步骤三，将文本向量t，以及M个混合专家系统权重w1，...，wm，...，wM输入混合专家系统，得到M个混合专家模型输出的M个中间方案表征v1，...，vm，...，vM，其中，vm为第m个混合专家模型输出的中间方案表征；步骤四，将M个中间方案表征v1，...，vm，...，vM输入整合模块，生成慢病管理方案步骤五，构建生成模型的损失函数L：Y*表示人工标注的慢病管理方案，CE·表示交叉熵损失；步骤六，基于损失函数L并使用反向传播算法和梯度下降算法，更新生成模型中的大模型文本编码模块、注意力模块、混合专家系统和整合模块的参数，实现生成模型的训练。

全文数据：

权利要求：

百度查询： 安徽省立医院(中国科学技术大学附属第一医院) 基于注意力机制及混合专家系统的慢病管理方案生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD