申请/专利权人：西北大学

申请日：2024-03-08

公开（公告）日：2024-05-28

公开（公告）号：CN118097278A

主分类号：G06V10/764

分类号：G06V10/764;G06V10/82;G06V10/26;G06V10/46;G06T7/00;G06N3/0455;G06N3/0895

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.06.14#实质审查的生效;2024.05.28#公开

摘要：本发明公开了一种基于SSiT‑LA网络的眼底图像DR分级方法，包括步骤：1、用未标注的EyePACS数据集预训练ViT；2、图像数据预处理并划分训练集、验证集和测试集；3、训练集导入SSiT‑LA网络模型进行训练并优化参数，将眼底图像的两个不同的视图导入Query编码器和Key编码器；4、用静态显著性检测方法生成眼底图像的显著性图；5、基于ACSConv的损伤感知块对图像信号降噪，从Key编码器的输入序列中去除低显著性得分的图像块patch；6、对拼接的显著性图进行二值化，生成用于分割的基本事实显著性掩码图像y，将特征向量重塑回原始patch的大小，将所有patch相连接，得到具有全分辨率的分割预测图像能够准确地学习无标注医学眼底图像的特征，从而对眼底图像进行准确分级。

主权项：1.一种基于SSiT-LA网络的眼底图像DR分级方法，其特征在于，包括如下步骤：步骤1、使用没有标注的EyePACS数据集，对视觉Transformer模型ViT进行预训练，使其能够学习到更丰富的语义信息特征表示；所述ViT包括线性投影、基于ACSConv的损伤感知块和Transformer块，Transformer块的查询编码器附加有轻量级解码器，轻量级解码器由线性层和Sigmoid激活组成；步骤2、对DDR数据集和APTOS2019数据集中的图像数据进行预处理，得到预处理后的数据集，并将其划分为训练集、验证集和测试集；步骤3、将训练集导入SSiT-LA网络模型进行训练，通过最小化均方误差对比损失函数优化SSiT-LA网络模型的参数，对预训练阶段输入的眼底图像进行预处理，生成两个不同的视图，并分别导入训练好的SSiT-LA网络模型的Query编码器和Key编码器；所述Query编码器包括ViT、投影头和预测头，Key编码器为动量编码器，Key编码器包括ViT和投影头，Key编码器的参数θk通过Query编码器的参数θq的移动平均值进行更新；步骤4、利用静态显著性检测方法计算眼底图像中心和周围的差异显著性，生成所有眼底图像的显著性图；步骤5、基于ACSConv的损伤感知块减少图像信号在传输过程中受到的噪声干扰，并将眼底图像和显著性图分割成大小为PxP的若干个图像块patch，再将与眼底图像相似的显著性图的图像块patch进行拼接，将每个拼接中的最大显著性值作为逐块显著性得分，然后从动量编码器Key的输入序列中去除低于最低显著性得分m％的图像块patch，其中，m％表示掩蔽比；步骤6、通过阈值对拼接的显著性图进行二值化，生成用于分割的基本事实显著性掩码图像y，将patch表示作为Transformer块的输入，将每个D维的patch表示映射到P2特征向量，其中：patch表示的表达式为{zL，i∈RD|i＝1，...，N}，其中，D表示维度，zL表示图像块patch的特征表示，又称作patch表示；将所有P2特征向量重塑回原始图像块patch的大小P×P，恢复patch分割的空间顺序，并将所有图像块patch相连接，得到具有全分辨率的分割预测图像

全文数据：

权利要求：

百度查询： 西北大学 一种基于SSiT-LA网络的眼底图像DR分级方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD