买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江工商大学

摘要：本发明属于图像检索方法以及深度学习网络领域，公开了一种基于弱监督相似评估网络的肺部CT图像相似检索方法，包括WSSENet网络结构，所述WSSENet包括数据集生成器和相似度计算器，方法包括步骤1：基于LUNA16数据集，训练出WSSENet；步骤2：基于WSSENet，实现肺部CT图像的top‑k检索。本发明方法可以从海量的肺部CT图像数据库中寻找与用户提交的CT图像相似的图像，本发明的WSSENet是一种弱监督的相似度评估网络模型，在达到准确评估两张图像相似度的同时可以有效解决在网络训练过程中所需要的数据集标签问题。

主权项：1.一种基于弱监督相似评估网络的肺部CT图像相似检索方法，包括WSSENet网络结构，所述WSSENet包括数据集生成器和相似度计算器，其特征在于，所述方法包括如下步骤：步骤1：基于LUNA16数据集，训练出WSSENet；步骤1.1：首先对初始图像M进行预处理，提取出肺部CT图像中的肺实质部分，生成图像I，然后将其输入STL生成轮廓相似度计算器训练所需的数据集以及标签，称为训练集S1；通过不同CT值对应在图中的不同灰度值对图像进行二值化，再利用种子填充算法将外部的空气和内部的躯干分割开来，得到肺部掩膜，先膨胀肺部，将小的空洞填充，再腐蚀，恢复原来的大小，最后保留最大的连通域，此时最大的连通域就是肺部，得到预处理后图像I1；然后利用STL生成轮廓相似度计算器所需的数据集以及标签，I1（512*512*1），经过STL使其发生轻微形变生成图像I2（512*512*1），那么就可以认为I1和I2是相似的，将它们合成为一个2*512*512的张量，并赋予标签1；找到轮廓不相似的一组图像：与I1轮廓不相似的图像可以在同一个病例的CT扫描图像中找到不同层级的切面图片，并将他们合成为一个2*512*512的张量，并赋予标签0；步骤1.2：搭建VisionTransformer模型作为轮廓相似度计算器，利用训练集S1训练轮廓相似度计算器，使轮廓相似度计算器可以计算两张肺部CT图像肺实质轮廓的相似度，将训练集S1与训练集S2统一称为S，相似度计算器训练具体如下：选择sigmoid函数gx作为激活函数，以交叉熵函数hy作为轮廓相似度计算器与细节相似度计算器的损失函数，y=gx；训练时，使用Adam优化器来训练网络，初始学习率为0.001，在训练过程中，若损失函数出现收敛，则将学习率调为0.0001继续学习，直至收敛；步骤1.3：训练出轮廓相似度计算器后，利用轮廓相似度计算器构建训练细节相似度计算器所需的数据集以及标签，称为训练集S2；利用轮廓相似度计算器在数据库中随机搜索与输入图像I1（512*512*1）轮廓相似度高于某个阈值的图像I2（512*512*1），假设这两个图像是细节不相似的，那么给这组图像赋予标签0，即不相似，并合成为2*512*512的张量；接下来，寻找细节相似的图像来交给细节相似度计算器学习，输入图像I1（512*512*1），那么与在它的同一组CT扫描肺部图像组中，与它相邻层数的肺部CT图像必定是细节相似的，即：在一组CT扫描肺部图像中，若输入图像I1是第r层肺部切面，那么与它细节相似的图像则是第r-1层切面，或者第r+1层切面；然后找到一组细节相似的肺部CT图像，赋予标签1，即相似，并合成为2*512*512的张量；步骤1.4：搭建ResNet18变体模型，作为细节相似度计算器，利用训练集S2训练细节相似度计算器，使细节相似度计算器可以计算两张肺部CT图像肺实质内部软组织形状、位置方面的相似度；相似度计算器训练过程与步骤1.2相同；步骤2：基于WSSENet，实现肺部CT图像的top-k检索；步骤2.1：用户输入待检索图像I1后，利用WSSENet计算出I1与数据库中可能与其相似的图像的相似度；循环获得数据库中的每一张图像作为待检索图像与输入图像I1做比较，设当前取得的待检索图像为I2，首先采用比较灰度直方图的方式初步筛查查看I1与I2是否可能相似，分别获得两张图像的灰度值统计数组，以10个灰度值为一组，图像的灰度值统计数组的长度为26；比较两张图像灰度值统计数组中的最大值，若两者差值高于3000，则这两张图像不相似，无须输入WSSENet，直接过滤；若两者差值低于3000则这两张图像可能相似，进一步将I1与I2输入WSSENet输出相似度s；步骤2.2：将与I1计算出相似度的待检索图像利用大根堆结构进行排序，得出最相似的k张图像并输出；将相似度s与图像I2存入大根堆并根据相似度s进行排序，根据大根堆的特性，相似度高的图像被存入堆顶，在遍历完所有图像后，获得大根堆中从堆顶往下k张图像输出。

全文数据：

权利要求：

百度查询： 浙江工商大学 一种基于弱监督相似评估网络的肺部CT图像相似检索方法