买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：徐州医科大学;徐州佳智信息科技有限公司;烟台龙驰光电技术有限公司

摘要：本发明公开了一种基于多模态数据的小儿肺炎智能分类方法，包括输入多模态数据集，包括X线片数据、病史数据和临床特征数据；对X线片数据、病史数据和临床特征数据进行编码，并且各数据编码至少包括位置编码和模态编码；将编码后的X线片数据、病史数据和临床特征数据进行拼接，获得一个多模态特征序列；将多模态特征序列输入基于Transformer的模块进行分类；大大提高了效率和准确性，并且针对不同模态的医学数据，利用独特的数据编码方式，能够有效地提取不同模态数据的深度特征，提升最终的小儿肺炎类型识别准确率。

主权项：1.一种基于多模态数据的小儿肺炎智能分类方法，其特征在于，包括如下步骤：输入多模态数据集，包括X线片数据、病史数据和临床特征数据；还包括对输入的多模态数据集进行预处理：对X线片数据进行预处理：排除所有非正胸位病例；X线片数据图像大小统一为256×256像素后随机裁剪为224×224像素大小，并且所有X线片数据图像进行归一化和标准化操作；对病史数据进行预处理：每个病史数据限制在80词以内，并去除所有标点符号；对临床特征数据进行预处理：对于缺失数据采用病例平均值进行填充，并对所有数据进行归一化处理；对X线片数据、病史数据和临床特征数据进行编码，并且各数据编码至少包括位置编码和模态编码；所述位置编码包括：获取X线片数据的图像块，并在每一个图像块添加位置编码，记录其位置信息；获取病史数据的词向量，并在每一个词向量进行位置编码，记录其位置信息；以向量表示预处理后的临床特征数据，并对每一个临床特征向量进行位置编码，记录其位置信息；所述模态编码包括：获取X线片数据的图像块，对X线片数据图像所属模态类型以向量表示进行模态编码，记录其模态信息；并添加至每一图像块；获取病史数据的词向量，对病史数据所属模态类型以向量表示进行模态编码，记录其模态信息，并添加至每一词向量；对临床特征数据所属模态类型以向量表示进行模态编码，记录其模态信息，并添加至每一临床特征向量；获取X线片数据的图像块具体为：将预处理后的X线片数据图像输入基于ResNet50的编码器，基于ResNet50的编码方法将输出特征图转换为图像块，图像块的数量即图像序列长度，采用线性投影的方法将其映射至所需维度；获取病史数据的词向量具体为：将预处理后的病史数据输入经预训练的BERT模型并输出词向量；采用线性投影的方法将得到的词向量映射至所需维度；将编码后的X线片数据、病史数据和临床特征数据进行拼接，获得一个多模态特征序列；将多模态特征序列输入基于Transformer的模块进行分类；基于Transformer的模块主要由12个Transformer编码网络层组成，每个Transformer编码网络层都包括一个多头自注意力机制和一个多层感知机，且多头自注意力机制和多层感知机都使用跳跃连接和层归一化；具体过程表述为： ； ；其中，为每一层的输入，为每一层的中间输出，为每一层的输出，LN即层归一化，MSA即多头自注意力机制，MLP即多层感知机；将得到的输出中的分类向量取出，使用两个多层感知机及Softmax函数将其映射为类别预测结果；以及类别预测结果输出为每个病例属于每个类别的概率，并计算每个病例的最大概率及其所属类别作为其最终分类结果。

全文数据：

权利要求：

百度查询： 徐州医科大学 徐州佳智信息科技有限公司 烟台龙驰光电技术有限公司 一种基于多模态数据的小儿肺炎智能分类方法