申请/专利权人：湖州师范学院

申请日：2024-03-11

公开（公告）日：2024-05-24

公开（公告）号：CN118071717A

主分类号：G06T7/00

分类号：G06T7/00;G06V10/764;G06V10/774;G06V10/82;G16H30/20;G06N3/0464

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.06.11#实质审查的生效;2024.05.24#公开

摘要：本发明公开了一种基于VisionTransformer的多标签盆腔脏器脱垂检测方法，属于图像处理与应用技术领域，本发明目的是解决目前人工盆腔脏器脱垂诊断耗时且不准确的问题，开发一种多标签深度学缩短医生的读图时间、降低误诊率，提高疾病的诊断效率。本方法包括：选取合作医院提供的盆腔核磁共振图像作为原始样本，将样本划分为训练集、验证集和测试集，并进行一系列预处理操作；设计了针对医学图像的特征提取模块和基于VisionTransformer的多标签分类分级模型对眼盆底图像中三种器官患病区域进行自动化分类检测。利用本发明提出的基于VisionTransformer的多标签盆腔脏器脱垂检测方法可以提取出更多的目标信息从而实现对盆底核磁共振图像中盆腔器官脱垂情况准确分级检测。

主权项：1.基于VisionTransformer的多标签盆腔脏器脱垂检测方法包括特征采集模块和多标签训练模块。该方法使用专科医生标注的盆腔核磁共振图像数据集进行多标签模型训练。训练好的多标签盆腔脏器脱垂模型可用来对患病盆腔核磁共振图像进行分类处理，并最终通过Grad-CAM算法标记出对模型分类结果影响最大的区域以辅助诊断。具体步骤如下：1所述的盆腔核磁共振图像构成一组盆腔脏器脱垂检测数据集，盆腔脏器脱垂检测数据集作为原始数据样本，所述特征采集模块对原始样本中的图像进行预处理操作，从而形成训练集图像，并保证基于图像可以形成一组可训练的特征矩阵；2利用所述盆腔核磁共振图像数据集对所述多标签训练模块对进行训练，多标签训练模块包括标签掩码嵌入网络、VisionTransformer和独立前馈网络；所述标签掩码嵌入网络利用一种三元编码方式将所述训练集图像中存在的病种构建为对应标签向量，同所述特征采集模块采集到的图像特征一同交由VisionTransformer处理。VisionTransformer利用一种特征图分块方法对所述训练集图像特征进行处理，其编码器通过叠加多层的多头注意力机制获得一种图像特征块关联关系；所述独立前馈网络基于VisionTransformer的输出通过一种单向传播的前馈全连接神经网络取得盆腔脏器脱垂检测结果；3利用训练模块对分类模型进行训练，将所述盆腔脏器脱垂检测数据集输入所述网络进行训练，训练时通过设置学习率、损失函数方法、学习迭代周期调整模型参数，最终形成盆腔脏器脱垂检测模型；4使用Grad-CAM算法基于所述训练好的多标签盆腔脏器脱垂模型标记出对分类结果影响最大的区域，以提供可解释性依据，从而辅助临床诊断；所述的特征采集模块为：本发明方法要求的输入图像尺寸为M×N×3，M和N为正整数，原始图像尺寸为H×W，H和W为正整数，图像与处理阶段先将图像进行缩放为M×NH×W，再将较短的边两边平均补上灰边将其尺寸转换为M×N。预处理后的图像使用一个由两个3×3卷积层组成的卷积块来生成大小为H4×W4×C的特征。其中C为通道数量，经由三组所述卷积层后提取到大小为M×N×3的输入图像特征；所述的标签掩码嵌入网络为：本发明方法对于所述训练集中存在的所有标签向量li都添加一个“状态”向量si∈Rd。其中，si有三种可能的情况，分别是脱垂已知存在PR，脱垂已知不存在NU和脱垂情况未知UN。PR、NU、UN都是大小为d*3的可学习向量，其中UN固定为全零。将作为标签“嵌入”到所述图像特征中提取到编码器的输入所述VisionTransformer的特征图像分块方法为：先通过上采样操作将M×N×3大小的图像特征上采样为M’×N’×3，将M’×N’×3的图像输入到VisionTransformer，将输入图片划分成M’Patch×N’Patch个Patch×Patch大小的特征图像块，并在每个所述特征图像块上添加大小为1×M’Patch×N’Patch×3×Patch×Patch可训练的位置信息参数；所述的多头注意力机制为：以所述特征图像块为单位输入多头注意力机制，通过矩阵运算计算出各特征图像块之间的关系并生成新的M’Patch×N’Patch×3×Patch×Patch大小的图像特征，循环12-16次所述多头注意力机制。将所述多头注意力机制中生成的图像特征经过一种变换操作获得大小为2048×8×8的所述特征图像注意力图；所述的独立前馈网络为：一个三层全连接神经网络，其中每一层的神经元与下一层的所有神经元相连，但不包含反馈连接。经由VisionTransformer取得的特征图经过所述独立前馈网络，得到大小为K×1的矩阵代表器官脱垂预测结果，其中K为所述训练集图片中包含的标签个数；所述的Grad-CAM算法为：Grad-CAM结合所述多标签盆腔脏器脱垂模型的梯度信息和类别激活图的思想，生成具有空间信息的关键区域热力图，从而辅助临床理解模型在进行分类任务时所关注的重要区域。以所述盆腔脏器脱垂检测任务为例，类别c的Grad-CAM图可以表示为其中，u和v表示特征图的宽和高Ak表示特征图A的第k个通道。所述公式的的计算公式为其中是模型预测结果yc关于特征图A的第k个通道上位于i，j处激活值的梯度。

全文数据：

权利要求：

百度查询： 湖州师范学院 一种基于Vision Transformer的多标签盆腔脏器脱垂检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD