申请/专利权人：皖南医学院

申请日：2023-12-11

公开（公告）日：2024-06-21

公开（公告）号：CN117830227B

主分类号：G06T7/00

分类号：G06T7/00;G06T7/11;G06T7/194;G06V10/80;G06T7/62;G06T5/70;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.04.23#实质审查的生效;2024.04.05#公开

摘要：本发明公开了一种基于病理和CT多模态模型的口腔癌肿瘤分期方法，属于医学图像处理领域。所述方法包括以下步骤：S1.获取口腔多模态数据集；S2.根据所述口腔病理数据集构建病理特征提取模型；S3.根据口腔CT影像数据集构建CT特征提取模型；S4.将所述病理特征提取模型和所述CT特征提取模型提取的特征进行融合，并建立特征融合与分期模型；S5.基于所述特征融合与分期模型，生成病理和CT的多模态注意力热图；S6.基于所述病理和CT的多模态注意力热图，实现最终的肿瘤分期。本发明实现了精准地定位病灶部位，提升了口腔癌分期结果的精度与可靠性，实现了在缺失模态的情形下仍可以得到口腔癌肿瘤分期结果。

主权项：1.一种基于病理和CT多模态模型的口腔癌肿瘤分期方法，其特征在于：所述方法包括以下步骤：S1.获取口腔多模态数据集，所述口腔多模态数据集包括口腔病理数据集、口腔CT影像数据集；S2.根据所述口腔病理数据集构建基于FasterNet的病理特征提取模型，所述FasterNet预先通过包括口腔鳞癌不同分期病人的数据集进行训练；S3.根据口腔CT影像数据集构建CT特征提取模型，所述CT特征提取模型使用基于注意力机制的3DDenseNet进行构建，所述基于注意力机制的3DDenseNet通过4个依次连接的3D稠密连接块和注意力模块，再经过全连接层进行输出，其中，所述3D稠密连接块包括批处理归一化、ReLU激活函数、池化和3D卷积三部分，其中3D卷积的大小为3×3×3；所述注意力模块包括通道注意力模块和空间注意力模块；S4.将所述病理特征提取模型和所述CT特征提取模型提取的特征进行融合，并建立基于渐进特征金字塔的特征融合与分期模型：其输入为CT肿瘤特征与病理肿瘤特征，同时，所述CT肿瘤特征与病理肿瘤特征分别依次通过两个首尾相连的激活层和卷积层进行多模态特征融合，然后再通过依次连接的激活层和全连接层输出得到分期结果，其中，所述CT肿瘤特征的第一个激活层还与CT肿瘤特征的第二个卷积层连接，所述病理肿瘤特征的第一个激活层还与CT肿瘤特征的第一个卷积层连接，所述病理肿瘤特征的第一个激活层还与病理肿瘤特征的第二个卷积层连接，所述病理肿瘤特征的第二个激活层还与CT肿瘤特征的第二个卷积层连接；所述CT肿瘤特征与病理肿瘤特征各经过一次卷积后进行特征融合得到肿瘤的浅层特征，用于对肿瘤情况进行初步判断；所述浅层特征再与经过一次卷积的病理肿瘤特征、经过一次卷积的CT肿瘤特征进行融合，得到肿瘤的深层特征，用于发现有一定浸润深度的肿瘤；所述深层特征再与经过两次卷积的病理肿瘤特征进行融合，得到肿瘤的顶层特征，用于发现淋巴结转移不明显，肿瘤密度较低的肿瘤；在所述渐进特征金字塔最后的多模态特征融合阶段，通过分配各个模态所对应的特征权重来强调各个模态均具有的特征并减轻不同信息间的干扰，即有：yl＝αlx1→l+βlx2→l+γlx3→l，其中，xn→l表示n层到l层的特征向量，yl表示最终多模态特征向量，α、β、γ分别表示对应模态的权重，同时受αl+βl+γl＝1的约束；S5.基于所述特征融合与分期模型，生成病理和CT的多模态注意力热图；S6.基于所述病理和CT的多模态注意力热图，实现最终的肿瘤分期。

全文数据：

权利要求：

百度查询： 皖南医学院 一种基于病理和CT多模态模型的口腔癌肿瘤分期方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD