买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东莞市东南部中心医院(东莞市东南部中医医疗服务中心)

摘要：本发明提供一种基于多模态数据融合的脓毒症患者病情评估方法及系统，涉及病情评估技术领域，包括采集多模态数据，基于各模态，确定对应的模态类型节点，基于所述多模态数据的关联关系，确定对应的模态关联边，构建异构多模态图；将所述异构多模态图输入多模态融合网络，通过类型感知注意力机制和跨模态注意力机制，聚合所述模态类型节点的特征，构建所述模态类型节点之间的交互作用，提取并融合多模态数据的特征表示，得到患者融合模态表示；将所述患者融合模态表示输入多任务病情评估模型，通过构建评估子任务，得到患者任务感知表示，构建独立任务塔，基于患者任务感知表示，生成患者病情评估结果。

主权项：1.基于多模态数据融合的脓毒症患者病情评估方法，其特征在于，包括：采集脓毒症患者的多模态数据，基于所述多模态数据的各模态，确定对应的模态类型节点，基于所述多模态数据的关联关系，确定对应的模态关联边，所述模态类型节点和所述模态关联边，构建异构多模态图；将所述异构多模态图输入多模态融合网络，通过类型感知注意力机制和跨模态注意力机制，聚合所述模态类型节点的特征，构建所述模态类型节点之间的交互作用，提取并融合多模态数据的特征表示，得到患者融合模态表示；将所述患者融合模态表示输入多任务病情评估模型，通过构建评估子任务，生成子任务嵌入向量，得到患者任务感知表示，基于每个评估子任务，构建独立任务塔，基于患者任务感知表示，生成患者病情评估结果；所述独立任务塔在多任务病情评估模型中构建独立任务处理分支，每个独立任务塔，采用深度学习模型结构,对应处理一个评估子任务，通过处理患者融合模态表示，以及训练对应的任务损失函数，生成所述评估子任务对应的损失函数值，确定评估子任务结果；采集脓毒症患者的多模态数据，基于所述多模态数据的各模态，确定对应的模态类型节点，基于所述多模态数据的关联关系，确定对应的模态关联边，所述模态类型节点和所述模态关联边，构建异构多模态图包括：采集脓毒症患者的生理参数数据、生化指标数据和临床症状数据作为多模态数据，对所述多模态数据进行数据预处理，得到标准多模态数据，其中对所述临床症状数据进行文本分词、停用词移除和词性标注预处理；基于所述标准多模态数据，确定模态类型节点，其中基于所述生理参数数据，确定生理参数特征向量，构建生理参数节点，基于所述生化指标数据，确定生化指标特征向量，构建生化指标节点，基于所述临床症状数据，确定临床症状特征向量，构建临床症状节点；计算生理参数特征向量与生化指标特征向量之间的线性相关性系数，计算生化指标特征向量与临床症状特征向量之间的余弦相似度，计算生理参数特征向量与临床症状特征向量之间的互信息，基于所述线性相关性系数、所述余弦相似度以及所述互信息，确定关联关系；基于所述关联关系，当所述线性相关性系数大于预设的相关性阈值，以所述线性相关性系数为权重，确定生理参数节点和生化指标节点的第一关联边，当所述余弦相似度大于预设的相似度阈值，以所述余弦相似度为权重，确定生化指标节点和临床症状节点的第二关联边，当所述互信息大于预设的互信息阈值，以所述互信息为权重，确定生理参数节点和临床症状节点的第三关联边，所述第一关联边、所述第二关联边和所述第三关联边构成模态关联边；所述模态类型节点和所述模态关联边构成异构多模态图；将所述异构多模态图输入多模态融合网络，通过类型感知注意力机制和跨模态注意力机制，聚合所述模态类型节点的特征，构建所述模态类型节点之间的交互作用，提取并融合多模态数据的特征表示，得到患者融合模态表示包括：将所述异构多模态图输入到多模态融合网络中，对所述异构多模态图中的模态类型节点通过类型感知注意力机制进行处理，基于每个模态类型，生成对应的类型嵌入向量，将每个模态类型节点的特征向量与对应的类型嵌入向量拼接形成类型感知节点表示，并通过注意力机制聚合同一模态类型内的节点表示，得到对应模态类型的聚合特征向量；基于所述聚合特征向量，通过跨模态注意力机制建模多模态之间的交互作用，计算各模态类型对应的所述聚合特征向量之间的注意力权重矩阵，根据所述注意力权重矩阵，对每个所述聚合特征向量进行加权求和，确定跨模态上下文向量，并将原始的聚合特征向量与对应的跨模态上下文向量拼接，生成节点跨模态表示；基于所述异构多模态图的所述模态关联边，利用图卷积神经网络算法对模态类型节点进行多轮更新和传播，在每轮更新中，每个模态类型节点通过提取对应的特征向量，并聚合对应的邻居节点，确定所述模态类型节点在所述异构多模态图中的位置和上下文信息，得到更新后的模态类型节点表示；对更新后的模态类型节点表示进行池化操作，得到整个异构多模态图的全局表示，将所述全局表示作为患者融合模态表示；所述多任务病情评估模型的训练包括：基于所述评估子任务的类型，确定病情严重程度分级损失函数、器官功能障碍预测损失函数和预后预测损失函数，构建多任务损失函数；以所述多任务损失函数作为优化目标，在每个训练迭代中，从训练数据集中，按照预设的样本数量，随机抽取患者样本，将所述患者样本输入多任务病情评估模型，确定评估结果，计算所述多任务损失函数对应的值，利用反向传播算法计算模型参数梯度，通过梯度下降优化算法更新所述多任务病情评估模型的模型参数；重复训练迭代，直到达到预设的迭代次数，得到训练完成的多任务病情评估模型。

全文数据：

权利要求：

百度查询： 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) 基于多模态数据融合的脓毒症患者病情评估方法及系统