买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆师范大学

摘要：本发明提出一种基于多模态MRI的脑胶质瘤CDKN2AB基因状态分类预测方法，包括以下步骤：局部上下文信息特征提取器、多模态注意力信息融合器和分类器的图像分类网络模型搭建，模型训练与参数优化，脑胶质瘤的CDKN2AB基因状态自动分类。本方法提出一种端到端的图像分类网络，利用局部上下文信息特征提取器分别对T1c和T2序列图像进行特征提取，捕获丰富的局部上下文特征信息；通过引入混合注意力融合全局上下文信息捕获各组织间全局相互依赖关系，更加关注脑胶质瘤特征信息；通过使用通道注意力融合不同序列MRI互补图像特征信息，精准捕获与基因状态预测相关的特征信息；最终通过分类器对全局相互依赖关系和互补图像特征信息进行线性组合实现基因状态自动分类预测。

主权项：1.一种基于多模态MRI的脑胶质瘤CDKN2AB基因状态分类预测方法，其特征在于，包括以下步骤：S1、基于多注意力机制的多模态融合图像分类网络模型搭建：S11、基于多注意力机制的多模态融合图像分类网络模型用于预测输入MRI图像的脑胶质瘤CDKN2AB基因状态，网络模型结构包括两个局部上下文信息特征提取器、多模态注意力信息融合器和分类器；所述两个局部上下文信息特征提取器用于从T1c、T2序列的MRI图像中提取不同模态的局部上下文特征信息，所述多模态注意力信息融合器用于将两个序列的局部上下文特征信息进行融合以捕获各组织之间的全局相互依赖关系和不同序列MRI互补图像特征信息，所述分类器用于对全局相互依赖关系和互补图像特征信息进行线性组合实现基因状态自动分类预测；分类网络的输入为两个序列的图片，尺寸大小都为460×400，输出为两通道，分别代表CDKN2AB基因缺失状态和正常状态，能实现端到端的分类预测；S12、所述两个局部上下文信息特征提取器的结构相同，权值不共享，每个局部上下文信息特征提取器包括顺序设置的一个卷积层、一个最大池化层和四个卷积层组，每个卷积层组由两个卷积层组成；所述多模态注意力信息融合器包括混合注意力模块和通道注意力模块，所述混合注意力模块用于融合全局上下文信息来捕获各组织之间的全局相互依赖关系，具体的，将特征图分成多个不同的块，并对这些不同的块进行多头自注意力计算，得到带有空间混合信息的特征图，所述通道注意力模块用于融合来自不同序列MRI的互补图像特征信息，具体的，将特征图通道维进行压缩，然后将特征图的高和宽重新排列成一维向量，保留原始的信息，并对特征图的通道维进行注意力计算得到不同通道维之间的权重，最后将特征图变换为原形状，与混合注意力模块得到的特征图相融合得到多模态信息特征图；所述分类器包括顺序设置的一个平均池化层、一个特征投影层、一个类别预测层和一个softmax回归层；S2、模型训练与参数优化：S21、采用Xavier方法对步骤S1搭建的基于多注意力机制的多模态融合图像分类网络模型参数进行初始化；S22、将采用图像增广法变换后的带CDKN2AB基因状态标签的T1c和T2模态MRI图像训练数据按2：1比例划分为训练集和验证集，采用3折交叉验证法来对分类网络模型进行训练；S23、将同一脑胶质瘤切面的T1c和T2多模态MRI图像分别输入网络，通过网络前向计算生成特征向量，所述网络前向计算包括卷积操作、批量归一化、非线性激励、概率值转换和注意力机制计算；S24、采用标准的监督损失函数作为分类网络目标优化函数，分类损失函数定义如下： 其中，Lθ是在训练数据集下的分类损失函数，θ是分类网络参数，x是一个样本，y是一个标签，α表示预测的输出，n表示一个批次的样本总数量；S25、以求Lθ最小值为优化目标，采用自适应权重衰减优化器和反向传播算法求解网络参数θ，得到MRI脑胶质瘤CDKN2AB基因状态分类预测模型，其中，自适应权重衰减优化器可以根据历史梯度的震荡情况和过滤震荡后的真实历史梯度对变量进行更新，能适应稀疏梯度和缓解梯度震荡的问题；S3、脑胶质瘤的CDKN2AB基因状态自动分类：S31、以学得的θ为网络模型参数，以基于多注意力机制的多模态融合图像分类网络模型作为脑胶质瘤的CDKN2AB基因状态自动分类系统；S32、将脑胶质瘤的T1c、T2序列经空间配准后的MRI图像作为两个图像输入，通过两个局部上下文信息特征提取器分别对两个序列的MRI图像进行特征提取，得到相应的特征图；S33、将不同序列的特征图拼接后利用多模态注意力信息融合器捕获全局相互依赖关系和互补图像特征信息，然后将全局相互依赖关系和互补图像特征信息进行相加融合，得到融合后的信息特征图；S34、将融合后的信息特征图输入分类器生成两种标签预测分值，利用softmax函数将预测分值转换成概率分布；S35、取最大概率所在分量的下标作为基因状态类别标签，得到最终脑胶质瘤的CDKN2AB基因状态。

全文数据：

权利要求：

百度查询： 重庆师范大学 一种基于多模态MRI的脑胶质瘤CDKN2A/B基因状态分类预测方法