买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州大学

摘要：本发明公开了基于混合网络的视网膜OCT影像中多病灶联合分割方法，涉及图像分割技术领域，包括获取视网膜OCT图像数据；利用混合编码器对所述OCT图像进行多尺度全局及局部特征提取，利用多尺度门控注意力模块提取并筛选全局信息，通过组位置嵌入模块补充空间位置信息，通过三路融合模块整合全局及局部特征，通过联合损失函数优化网络对轮廓区域的分割效果；进行模型训练，用训练后的模型实现OCT图像中病灶的分割。本发明提供的基于混合网络的视网膜OCT影像中多病灶联合分割方法能够显著提升对复杂病灶区域的自动识别和分割性能，对提升眼科疾病的诊断和治疗效果具有重要的临床价值。本发明在识别精度以及适用性方面都取得更加良好的效果。

主权项：1.一种基于混合网络的视网膜OCT影像中多病灶联合分割方法，其特征在于，包括：获取视网膜OCT图像数据；利用混合编码器对所述OCT图像进行多尺度全局及局部特征提取，利用多尺度门控注意力模块提取并筛选全局信息，通过组位置嵌入模块补充空间位置信息，通过三路融合模块整合全局及局部特征，通过联合损失函数优化网络对轮廓区域的分割效果；进行模型训练，用训练后的模型实现OCT图像中病灶的分割；所述混合编码器由一个Transformer编码器和一个CNN编码器组成，输入图像分两路分别进入两个编码器，在Transformer编码器部分，通过特征引导层，对病灶图像进行两倍下采样，输出为特征然后再对特征两倍下采样，进行序列化，依次进入四个阶段的多尺度门控注意力模块和组位置嵌入模块，获得四个不同尺度的Transformer特征所述四个阶段的多尺度门控注意力模块包括通过多尺度门控注意力模块进行特征提取，设X∈RH×W×C是输入特征，其中H、W和C分别表示高度、宽度和通道数，将X输入三个平行路径，路径一使用两个步长分别为r1和r2的下采样卷积操作来获取不同尺度的特征，步长设置为：第一阶段为8和4，第二阶段为4和2，第三阶段为2和1，第四阶段为1和1，通过层归一化和GELU激活函数来标准化每个样本的特征并捕捉数据中的复杂特征，使用线性层来降低通道数，并通过仿射变换获得对应的Q和K向量，N＝H×W，ri为步长，i＝1,2；路径二通过线性层来获取对应于两组Q和K的V向量，Vi∈RN×C2,i＝1,2；路径三通过线性层来获取门控向量Gate，用来筛选正向作用的特征，Gate∈RN×C；通过Vi和Qi进行点乘来获得注意力得分，接着使用relu2激活函数增强注意力的稀疏性，然后再和对应的Ki进行点乘，得到不同尺度的注意力值，最后将不同尺度的注意力值进行拼接操作，得到Sim特征，表示为： 其中，Concat表示拼接操作；再使用Gate向量与Sim特征进行逐点乘积，将特征重组为H×W×C大小，并通过残差结构与输入X相加，得到输出特征O∈RH×W×C；解码器包括通过三路融合模块进行高级特征和低级特征的融合以及上采样操作，经过转置卷积后得到解码特征第N层的三路融合模块输入为上一阶段获得的解码特征及相应阶段的Transformer特征和CNN特征输出为解码特征N＝4，3，2，1，最后的解码特征为通道数K+1的分割结果图，每个通道分别表示像素属于K类病灶和背景区域的概率；第N层的三路融合模块首先使用深度卷积对进行通道转换操作，接着通过拼接操作将其与和进行拼接，然后进行像素重排操作，将同一个位置每4个通道的特征值在空间上排列成2×2个像素点，实现了两个空间方向上均上采样2倍，而通道维数降低到四分之一，再通过深度卷积得到输出特征，作为第N-1层三路融合模块的输入所述通过联合损失函数优化网络对轮廓区域的分割效果包括平滑后的Dice损失表示为： 其中，K为类别数，pij为模型预测第j个像素属于第i类的输出结果，yij为手动分割标签中表示第j个像素是否为第i类的值，ε表示平滑因子ε＝1e-6；标签中第j个像素属于第i类的概率Sij表示为： 使用CNN编码器的最底层梯度信息计算梯度类激活图，使用交叉熵计算软标签和类激活图中每一类的损失值，再使用开根号的方式去平衡不同类别的损失贡献，用CAMij表示第i类的类激活图中第j个像素的值，类激活图损失lossCAM计算为： 整个网络的联合损失函数losstotal表示为：

全文数据：

权利要求：

百度查询： 苏州大学 基于混合网络的视网膜OCT影像中多病灶联合分割方法