申请/专利权人：北京理工大学

申请日：2022-01-10

公开（公告）日：2024-06-11

公开（公告）号：CN114359104B

主分类号：G06T5/73

分类号：G06T5/73;G06V10/764;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.11#授权;2022.05.03#实质审查的生效;2022.04.15#公开

摘要：本发明涉及一种基于分级生成的白内障眼底图像增强方法，属于图像增强技术领域。针对现有的眼底图像增强方法存在的不足和缺陷，对于深度学习中配对数据的制约，本方法利用图像成像模型退化高质量图像生成相应的多模糊度数据集。对于过增强以及欠增强的问题，本方法根据生成的多模糊度数据集训练模糊度分类器以及多个模糊眼底增强器来增强不同模糊度的白内障图像。与现有技术相比，本方法有效解决了深度学习中配对数据数据获取困难的问题，并且有助于全参考质量评估的应用，可以有效增强不同模糊度的白内障图像，增强的结果对比度好，解决了过增强、欠增强的问题。同时本方法有效提升了增强图像的准确性，增强后细小血管的保真度更好。

主权项：1.一种基于分级生成的白内障眼底图像增强方法，其特征在于，包括如下步骤：步骤1：利用图像成像模型构建多模糊度数据集，包括以下步骤：步骤1.1：筛选彩色眼底图像，构建清晰数据集；筛选要求包括：所有主要视网膜结构均清晰可见，包括视盘、黄斑和主要血管；视网膜小结构均清晰可见，包括微动脉瘤、硬性渗出物、玻璃疣、二分叉后的小血管；步骤1.2：对清晰数据集中的图像进行预处理；步骤1.3：利用图像成像模型对清晰数据集进行图像退化，生成不同模糊度的眼底图像，构建多模糊度数据集，图像成像模型如式1所示：Ii，j＝Ji，j·t+Ai，j1-t1其中，i，j∈[1，N]，分别表示像素的横、纵坐标的索引；Ii，j为观测到的强度，I为退化图像；Ji，j为全反射强度，J指清晰图像；Ai，j为环境强度，A由高斯模糊估计得到；t为透射率，取值范围为[0，1]，t取值越大透射率越高，退化图像的对比度越高，图像更加清晰，更接近于清晰图像J，t取值越小则透射率越低，退化图像对比度越小，图像更加模糊，图像更接近于A；步骤1.3.1：对清晰图像J用阈值法提取掩膜Mask，并对掩膜边界进行形态学腐蚀，填充相邻值，从而减少边界的影响；边界填充后的图像记为Jp；步骤1.3.2：由图像Jp通过高斯模糊得到环境强度A，如式2所示：Ai，j＝Jpi，j*Gauss·Mask2其中，*为卷积；Gauss为高斯核，高斯核应覆盖眼底主要结构，包括视盘、黄斑和主要血管；高斯核的大小ks取值范围为高斯核的方差取值为ksπ，N表示图像的长与宽的像素数，π表示圆周率；步骤1.3.3：从[0，1]中选取t，结合清晰图像J以及步骤1.3.2中得到的环境强度A，根据式1得到对应模糊度的退化图像；步骤1.3.4：为了得到多个模糊度的退化图像，从[0，1]中选取m个t，由t从小到大排序记为[t1，t2，…，ti，…，tm]，重复步骤1.3.1到1.3.3，获得m张退化图像，并与原图构成多模糊度数据集Sm，其中m∈2，10]且为整数，t1对应最模糊的退化图像，tm对应最清晰的退化图像，ti为第i类模糊度的退化图像，i∈[1，m]且为整数；步骤2：利用步骤1的多模糊度数据集Sm训练模糊度分类器，包括以下步骤：步骤2.1：将多模糊度数据集划分为训练集与验证集，对训练集进行增广，包括平移、旋转、翻转、混合数据增广mixup、随机擦除增广Cutout；步骤2.2：构建模糊度分类器，包括主干网络与分类头；其中，主干网络选择Resnet或Efficienet或Tranformer，并加载在ImageNet数据集预训练的权重，作为初始权重；分类头负责对主干网络提取的特征图分类，分类头包括池化层以及全连接层，其中，池化层选择最大池化或平均池化，全连接层输入通道数根据主干网路的输出进行调整，输出通道数为m，即分类m个不同模糊度的图像；步骤2.3：对构建的分类器进行训练，训练的损失函数选择交叉熵损失如式3所示： 其中，yi与pi分别为第i类的标签与预测值，i∈[1，m]且为整数；训练目标为最小化损失函数，调整学习率令其在验证集上达到最优，保存训练好的分类器作为本方法的模糊度分类器；步骤3：利用多模糊度数据集，训练模糊眼底增强器；设当白内障图像通过模糊度分类器分类结果为第1类，即ti＝t1时图像过度模糊，解剖结构不可见，故不对其进行增强；当分类结果为第m类，即ti＝tm时，输入图像较为清晰，符合眼科医师临床诊断的需求，故也不增强；本阶段共训练m-2个模糊眼底增强器，利用对抗学习来协同训练增强器Ei以及判别器Di，第i类模糊度退化图像为对应退化透射率为ti，其中i∈[2，m-1]且为整数，xi对应的清晰图像为Ei的作用是增强模糊度等级为i的白内障图像xi，令其更接近于清晰图像x，Di的作用是判断图像为真实的清晰图像x还是Ei增强的图像Eixi；表示实数域，N表示图像的长与宽的像素数；步骤3.1：构建模糊眼底增强器Ei，其中i∈[2，m-1]且为整数，增强器的整体借鉴U-Net结构，浅层输出的特征层与对应的深层特征通过跳跃连接进行合并，但舍弃下采样和上采样层；去掉下采样和上采样的层之后，每一层的特征图大小一样；模糊眼底增强器的基础模块包括6层：卷积、正则化、激活、卷积、正则化和激活；整个增强器有7个基础模块，第7个模块输出为最终增强结果，第k个模块输出的特征图与第7-k个模块特征图合并连接，k＝{1，2，3}；此外，在第四个模块卷积前加入dropout层；步骤3.2：构建判别器Di，判别器Di的输入为真实清晰图像x与模糊增强器增强的图像Eixi，输出为判别图像为真的概率，d∈[0，1]，当输入为真实清晰图像x时，d接近于1，当输入为增强图像Eixi时，d接近于0；最终输出预测概率；其中，判别器的基础模块是基于特征重用块，特征重用块由特征提取单元和特征融合传输单元组成；特征提取单元包括2个卷积层、2个批量归一化层和1个激活层；特征融合传输单元包括1个附加层、1个激活层和1个下采样层；在全连接层之前，总共使用6组特征重用块；第一个基本模块卷积核的通道为16，较深的特征重用块的宽度是上层宽度的两倍，特征重用块之后为3个全连接层，通道数分别为64、16、1；步骤3.3：协同训练模糊眼底增强器Ei与判别器Di，训练的损失函数由两部分构成，其中损失为： 旨在约束生成图像趋向于清晰图像，对抗性损失为： 最终的约束目标为： 其中，Ei*、Di*为优化后的结果；最小化该损失函数以优化Ei，最大化该损失函数以得到训练好的Di；步骤3.4：为了得到m-2个模糊眼底增强器，分别选择Sm中模糊度i为[2，3，…，m-1]的退化图像xi与清晰图像训练x训练模糊眼底增强器，重复步骤3.1至步骤3.3，得到一组模糊眼底增强器{E2，E3，…，Em-1}，保存训练好的模糊眼底增强器；步骤4：利用训练好的模糊度分类器，对眼底图像的模糊度分类，得到模糊度等级i；判断该眼底图是否需要增强；当分类模糊度为[2，3，…，m-1]，即对应透射率为[t2，…，tm-1]时需要增强，分类结果为1与m，即对应t1和tm时不需要增强；若不需要增强，则直接输出原图；若需要增强，则送入相应的模糊眼底增强器Ei进行增强，得到最终的图像增强结果。

全文数据：

权利要求：

百度查询： 北京理工大学 一种基于分级生成的白内障眼底图像增强方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD