申请/专利权人：北京科技大学

申请日：2024-04-09

公开（公告）日：2024-06-28

公开（公告）号：CN118016283B

主分类号：G16H50/20

分类号：G16H50/20;G06T7/00;G06N3/0499;G06N3/048;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.05.28#实质审查的生效;2024.05.10#公开

摘要：本发明公开了一种基于可解释的乳腺癌新辅助化疗pCR预测方法及系统，该预测方法，具体包括：获取乳腺癌DCE‑MRI影像数据，并对获取的影像数据进行预处理，得到肿瘤感兴趣区域的图像数据；构建可解释深度学习模型，并将得到肿瘤感兴趣区域的图像数据输入到所述可解释深度学习模型中，即得到新辅助化疗pCR预测结果；获取可解释深度学习模型中注意力机制的注意力权重对特征提取进行可解释分析，得到所述深度学习模型的自解释结果，即完成预测。本发明提供了一种可解释深度学习技术，不仅保证了基于深度学习的新辅助化疗pCR预测的准确性，而且提高了深度学习模型的自解释能力，从而增强了深度学习模型的可信度和临床应用价值。

主权项：1.一种基于可解释的乳腺癌新辅助化疗pCR预测方法，其特征在于，该预测方法包括以下步骤：S1）获取乳腺癌DCE-MRI影像数据，并对获取的影像数据进行预处理，得到肿瘤感兴趣区域的图像数据；所述的乳腺癌DCE-MRI影像包括：对比增强前的MRI扫描影像、对比增强后的第一次扫描MRI影像和对比增强后的第二次扫描MRI影像；具体步骤为：S1.1）获取乳腺癌DCE-MRI影像数据，将获取的乳腺癌DCE-MRI影像数据并重采样，即得到像素大小为的图像；S1.2）将S1.1得到的图像垂直轴的居中层进行切片，即得到图像；S1.3）采用最大-最小值归一化方法对S1.2）得到的图像进行归一化处理；S1.4）将经过S1.3）处理后分别得到所述MRI图像、MRI图像和MRI图像对应的图像，并将所得三张图像进行拼接，拼接为3通道的输入图像，即为肿瘤感兴趣区域的图像数据；S2）构建可解释深度学习模型，并将S1）得到肿瘤感兴趣区域的图像数据输入到所述可解释深度学习模型中，即得到新辅助化疗pCR预测；具体步骤为：S2.1）将S1.4）得到的输入图像编码模块进行编码处理,即得到输入图像的编码特征且作为第一阶段特征提取器的特征；具体步骤为：所述编码模块将每张输入图像切分为不相交的256个图像块，且每个图像块均展成的向量；通过线性映射层将所述的向量映射为的向量；将每一个所述的的向量均加上大小相同且可学习的位置编码向量，得到所述输入图像的编码特征且作为特征提取器的特征；S2.2）将S2.1）得到的特征输入到串联的四个阶段的可解释特征提取模块中，每个阶段的可解释特征提取模块均输出一个“ClassToken”向量，即，，和；所述四个阶段的可解释特征提取模块中可解释特征感知块的操作步骤相同，且第一阶段可解释特征提取模块的输入是S2.1）得到的特征，第二到第四阶段可解释特征感知块的输入来源于各自阶段里下采样层的输出，将每个阶段的输入首先输入到每个阶段可解释特征感知块的多层感知器中，并通过残差连接操作，获取所述多层感知器输出特征，其次，每个阶段可解释特征感知块里皮尔逊注意力机制单元的具体步骤具体为：将特征映射到三个子空间、、中，得到每个子空间的特征、、，且、、与映射前的特征的大小一致，为，其中有个一维向量，其中，在所述的四个阶段里的值分别为256、64、16、4；利用皮尔逊注意力机制单元相似度计算所述子空间的特征中个一维向量与中个一维向量之间的相似度，得到特征的自注意力矩阵；利用皮尔逊注意力机制单元相似度计算“ClassToken”向量与子空间的特征中个向量的相似度，得到特征中个一维向量的注意力矩阵；将得到的自注意力矩阵与子空间的特征进行矩阵相乘，得到特征的更新值；再将得到的注意力矩阵与所述更新值进行矩阵相乘，以更新“ClassToken”向量，得到所述每个阶段可解释特征提取模块的最终输出的“ClassToken”向量，即，，与；所述第二到第四阶段里可解释特征提取模块中的下采样层是采用特征重组与线性映射将输入特征尺度缩小为原来的0.25倍，且所述四个阶段的图像特征尺度分别为：、、与；其次，所述“ClassToken”向量是定义的一个可学习的一维向量，大小为；所述四个阶段的可解释特征提取模块输出的“ClassToken”向量通过pCR预测模块里注意力机制进行融合，融合机制具体为： ；式中：、、、为通过所述四个阶段“ClassToken”的各自均值通过Softmax函数得到的注意力值，且满足；S2.3）将S2.2）得到的，，和通过pCR预测模块融合为一个，再将通过全连接层与Sigmoid激活函数得到新辅助化疗pCR预测结果；所述可解释深度学习模型包括：编码模块、四个阶段的可解释特征提取模块和pCR预测模块；其中，所述四个阶段的可解释特征提取模块中，第一个阶段的可解释特征提取模块由可解释特征感知块组成，第二到第四阶段的特征提取模块中，依次由下采样层与可解释特征感知块串联组成，同时，四个阶段的特征提取模块也是串联关系，即上一个阶段的输出是下一个阶段的输入；所述可解释特征感知块依次包括多层感知器、皮尔逊注意力机制单元与残差连接单元；S3）获取可解释深度学习模型中注意力机制的注意力权重对特征提取进行可解释分析，得到所述深度学习模型的自解释结果，即完成预测；所述可解释分析具体步骤包括：S3.1）获取所述四个阶段里每个阶段可解释特征提取模块中的所述注意力矩阵，即为每个阶段下输入特征中不同位置的特征对可解释pCR预测结果的贡献度；S3.2）获取所述pCR预测模块中的、、、值，即为所述四个阶段对应尺度特征对pCR预测结果的贡献程度；S3.3）输出所述每个阶段的注意力矩阵与所述、、、注意力值，即为所述深度学习模型的自解释结果。

全文数据：

权利要求：

百度查询： 北京科技大学 基于可解释的乳腺癌新辅助化疗pCR预测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD