买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：智药元创医学技术(上海)有限公司

摘要：本发明涉及一种基于多模态数据融合的恶性肝肿瘤分类方法，通过对非结构化多期CT影像数据的规范化预处理，对结构化的信息进行离散化处理，构建基于卷积神经网络的空间特征提取模块，以及基于门控循环神经网络的时序信息编码模块，并通过多模态数据融合模块，结合非结构化的影像数据与结构化的信息，最终得到深度学习恶性肝肿瘤分类。与现有技术相比，本发明在卷积神经网络的基础上，引入门控循环神经网络，有效挖掘多期造影增强CT的空间时序特征，并使用多模态数据融合将影像特征与临床数据结合，能够显著提高区分肝细胞癌HCC，肝内胆管癌ICC和转移性肝癌的准确度。

主权项：1.一种基于多模态数据融合的恶性肝肿瘤分类方法，其特征在于，包括下列步骤：1）数据集获取：收集收集病理确诊的HCC、ICC和转移性肝癌患者术前临床信息及CECT图像，并将采集的样本数据划分训练集样本和测试集样本；2）CECT图像预处理：从图像存档和通信系统导出包括平扫期、动脉期和门脉期的CECT图像，对CECT图像进行预处理形成训练影像库；3）临床数据编码：对样本的年龄、性别、血小板、总胆红素、甲胎蛋白、糖类抗原19-9、癌胚抗原、糖类抗原125和乙型肝炎表面抗原进行数据编码；4）模型架构：基于空间特征提取-时序特征编码-特征集成-分类器模块化设计思想，构建一个深度学习模型；5）模型训练：对CECT图像预处理后的图像进行动态数据增强，以确保图像中肿瘤位置的一致性；基于训练影像库及编码后的临床信息进行模型训练；6）模型处理及预估：将预处理后的多期CECECT图像和相应的编码临床数据输入训练后的深度学习模型，输出每种类型的肝脏恶性肿瘤的可能性分值，并基于准确度、微平均AUC和宏平均AUC对输出结果进行评估；所述深度学习模型包括：空间特征提取模块，该模块为全卷积网络，通过采用卷积层提取CECT图像的详细空间特征；时序特征编码模块，采用RNN挖掘不同期CECT之间的变化模式；特征集成模块，将时序特征编码模块的输出与编码后的临床数据进行融合；分类器模块，将特征集成模块的输出通过softmax激活函数，实现对肝脏恶性肿瘤的分类；所述深度学习模型将预处理后的多期CECT图像和相应的编码临床数据作为输入，并最终输出每种类型的肝脏恶性肿瘤的可能性分值；空间特征提取模块利用在ImageNet上预训练的VGG16卷积层提取CECT图像的空间特征，并运用核大小为7×7的可训练卷积层输出长度为128维的特征；再通过时序特征编码模块利用RNN挖掘肝肿瘤在不同期CECT中的变化模式，利用GRU捕捉时序多期影像中的依赖关系，构建具有一层特征维度为32的GRU的RNN；随后，在特征集成模块中，将时序特征编码模块的输出与编码后的临床数据哑变量连接，融合成52维的特征；最后，在分类器模块中，将特征集成模块的输出通过softmax函数进行激活，得到每一类的概率数值，概率数值最大的为预测类别，进而实现肝脏恶性肿瘤的分类任务。

全文数据：

权利要求：

百度查询： 智药元创医学技术(上海)有限公司 一种基于多模态数据融合的恶性肝肿瘤分类方法