申请/专利权人：北京工业大学

申请日：2021-08-30

公开（公告）日：2024-05-28

公开（公告）号：CN113870270B

主分类号：G06T7/10

分类号：G06T7/10;G06T7/00;G06V10/40;G06V10/80;G06N3/0464;G06N3/045;G06N3/084;G06V10/764;G16H30/20

优先权：

专利状态码：有效-授权

法律状态：2024.05.28#授权;2022.01.21#实质审查的生效;2021.12.31#公开

摘要：本发明公开了一种统一框架下的眼底影像视杯、视盘分割方法，在分割前，获取眼底影像并其进行剪切，旋转等图像预处理操作；依据眼科医生在眼底彩照上标注的视杯、视盘区域，生成相应的掩膜图像；构建分割视杯、视盘的深度网络；利用掩码图像和眼底影像对深度分割网络进行迭代训练，优化网络参数；分割视杯、视盘,利用训练好的分割网络模型,得到视杯、视盘的分割结果。本发明提出了用于视杯、视盘分割的深度神经网络，包括：多尺度特征提取器，多尺度特征过渡和注意力金字塔结构。本发明可以对视杯视盘进行有效的分割，具有较高的分割精度，同时为眼底图像的分割及其他医学影像的分割提供了新的思路。

主权项：1.一种统一框架下的眼底影像视杯、视盘分割方法，其特征在于：该方法包括如下步骤，步骤1，获取眼底影像数据集；步骤2，构建分割网络；所述步骤2中构建的分割网络基于编码解码结构，编码结构由多层卷积层和池化层组成，用于提取图像的特征信息，解码结构对从编码器中得到的特征进行上采样，从而获得分割图；步骤3，训练分割模型；步骤4，分割视杯视盘；利用训练好的分割网络模型,得到视杯、视盘的分割结果；步骤2.1，多尺度特征提取器；所提出的多特征提取器基于ResNet,包括多尺度输入金字塔和注意力融合机制；步骤2.1.1多尺度输入金字塔；将输入的眼底图像调整为512×512，256×256，128×128和64×64四种不同尺度大小；四种不同尺度的眼底图像同时输入到网络中，在ResNet的基础上，构造输入金字塔结构，来接收不同尺度的眼底图像输入；具体来说，图像大小为512×512眼底图像，仍然采用最初的ResNet中的结构，首先经过一个卷积核为7，步长为2的卷积层，然后进行正则化处理，再经过Relu激活函数得到大小为128×128，通道为64的特征图；之后，经过第一个残差结构得到大小为128×128，通道数为256的特征图，表示为c2_1；对于其他3个尺度的眼底图像，分别构造卷积核为3×3，通道数分别为64，128，256的卷积层对其进行卷积操作，卷积之后经过Relu非线性操作，得到的三种不同的特征图，大小分别为128×128，64×64和32×32，通道数为64，128，256的特征图，分别表示为x2,x3,x4；步骤2.1.2，注意力融合机制；经过步骤2.1.1操作得到了四种不同的特征图，注意力融合机制来缓解特征图之间的差距；首先将c2_1和x2按照通道进行拼接，得到大小为128×128，通道数为320的特征图，表示为c2_2,之后对该特征图进行卷积核为3×3的卷积操作,经过Relu激活函数后，再进行组归一化，此时得到的特征图大小通道都不变；将得到的特征图送入注意力模块，首先对特征图采用自适应平均池化，自适应池化只改变特征图的大小，通道数不变；之后特征图经过两个连续的卷积核大小为1×1的卷积操作，通过softmax函数进行激活后得到注意力矩阵，其大小为1×1,通道数为320；最后将注意力矩阵和c2_2相乘得到融合后的特征图c2,其大小仍为128×128，通道数为256；得到的特征图c2经过第二个残差结构得到特征图c3_1；c3_1和x3经过通道拼接在经过注意力融合机制之后得到特征图c3，其大小为64×64，通道数为512；按照上述操作得到特征c4大小为32×32，通道数为1024和大小为16×16，通道数为2048的c5；步骤2.2，多尺度特征过渡；浅层的特征图包含图像中的边缘、目标位置信息，而高层的特征图包含丰富的语义信息；如果只是将解码器中的最高层生成的特征输入到解码器中会造成特征的损失使网络捕获不到浅层的特征信息；采用多尺度特征过渡策略，通过保留不同尺度的特征图，将编码器生成的多尺度信息输入到解码器中；不同尺度的眼底图像经过注意力融合机制和残差结构生成c2，c3，c4,c5四种不同尺度的特征图；这四种特征图同时输入到解码器中而不是仅仅传递高层的特征图；步骤2.3，注意力金字塔结构；多尺度特征过渡保留四种不同的特征图：c2，c3，c4，c5，首先采用1×1的卷积对c5进行操作，目的是减少c5的通道数，再对其进行双线性插值操作，得到大小为32×32，通道为256的特征图，记为p5_1；对p5_1进行1×1的卷积和上采样操作得到大小为128×128，通道为256，记为p5；对于c4也采用1×1的卷积操作,得到大小为32×32，通道数为256的特征图；记为p4_1；将p5_1和p4_1相加进入注意力机制；金字塔注意力机制基于ConvolutionalBlockAttentionModule，用于平衡不同特征之间的差异；分别采用通道注意力机制和位置注意力机制对p5_1和p4_1相加的结果进行操作；在通道注意力中采用自适应平均池化和自适应最大池化对其进行空间维度的压缩，压缩后的特征分别进入卷积核为1×1的卷积层，得到特征图avg_out和max_out,其大小均为1×1，通道为256；最后将avg_out和max_out进行相加，经过Sigmoid函数处理后，得到了通道注意力矩阵；另外，利用特征间的空间关系生成空间注意矩阵，为了计算空间注意力，首先沿着通道维度对输入求平均值和最大值，因为沿着通道维度进行操作可以有效地突出信息区域，之后将它们连接起来生成一个有效的特征矩阵；最后经过卷积核为1×1的卷积操作和Sigmoid处理后得到位置注意力矩阵，其大小为32×32，通道数为1；最后将p5_1和p4_1相加的结果分别和通道注意力矩阵和位置注意力矩阵相乘，得到特征图ca和sa，大小均为32×32，通道均为256；最后将ca和sa相加，在经过双线性插值操作，得到大小为128，通道数为256的特征图，记为p4，其他的特征图同样按照上述的方法进行特征融合；在此过程中注意力机制不仅将不同的特征进行融合，减少了特征之间的差异，同时对特征图中的不同区域赋予不同的权重信息，有助于网络对视盘视杯区域进行区分；最后分别得到了p5,p4,p3,p2四种不同的特征值，其大小均为128×128，通道数为256。

全文数据：

权利要求：

百度查询： 北京工业大学 一种统一框架下的眼底影像视杯、视盘分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD