买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国海洋大学

摘要：本发明公开了一种基于图像文本协同约束的半监督医学图像分割方法，属于医学图像处理技术领域。本发明包含一个由SAM模型和CLIP模型共享的编码器、CLIP模型分支以及SAM模型分支。SAM模型擅长图像分割和对象定位，具有良好的空间理解能力；而CLIP模型具有强大的跨模态理解能力，可以将文本和图像信息结合起来进行任务处理。将二者结合可以使模型在图像理解任务中既具有良好的空间定位能力，又能够充分利用文本信息进行理解，从而更全面地理解和处理图像。本发明结合SAM和CLIP模型可以通过相互补充的方式提升模型性能，并且可以灵活地根据任务需求调整模型的结构和参数，从而更好地适应不同的图像分割的任务及场景。

主权项：1.一种基于图像文本协同约束的半监督医学图像分割方法，其特征在于，包括如下步骤：S1：收集医学图像数据集，并对图像数据进行预处理；将数据集分为训练集和测试集，所述训练集包括有监督的图像数据和无监督的图像数据；S2：利用大型视觉语言模型CLIP的文本编码器，对所选数据集的文本描述进行编码从而获得文本特征；S3：构建网络模型，包括两个分支，分别是CLIP模型分支以及SAM模型分支，两个分支采用共享的编码器，分割网络结构均为UNet，参数初始化不同；S4：将训练集输入所述网络模型后，对于SAM模型分支，将提取到的图像特征与提示嵌入进行拼接，然后将其作为参数添加在后续操作当中作为指导得到分割结果；对于CLIP模型分支，对于提取到的图像特征与已经获取的文本特征进行拼接，然后将其作为参数添加在后续操作当中作为指导得到分割结果；所述提示嵌入为在SAM模型分支中，首先将图像数据输入nnunet网络来自动生成框提示，此处省略了人工标注，然后将带有框提示的输入图像输入到提示编码器中生成提示嵌入；S5：构建所述网络模型中的损失函数，包括对于有标记数据的监督损失及对于无标记数据的一致性损失以及将二者相结合的总的损失函数；S6：利用训练集中的有标记数据分别对CLIP模型分支和SAM模型分支进行监督训练；S7：利用训练集中的无标记数据对CLIP模型分支和SAM模型分支通过一致性损失进行无监督训练；S8：利用测试集中的测试数据通过SAM模型分支进行输出最终的图像分割效果。

全文数据：

权利要求：

百度查询： 中国海洋大学 基于图像文本协同约束的半监督医学图像分割方法