申请/专利权人：厦门大学

申请日：2024-05-23

公开（公告）日：2024-06-21

公开（公告）号：CN118229700A

主分类号：G06T7/10

分类号：G06T7/10;G06T9/00

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明公开一种实时的交互式图像分割方法，涉及计算机视觉技术领域，引入了一种创新的处理交互分割问题的流程，能够提高交互式分割任务的计算效率，包括：步骤1、使用大型视觉模型对图像进行并行预处理，得到图像特征；步骤2、通过一轻量级的交互式分割模块，实时处理图像特征和用户输入的交互信息，能够从图像中准确地分割出目标区域，并根据用户的反馈不断提高分割的准确度。本发明通过将来自大型视觉模型预处理的图像特征与用户输入的交互信息相结合，并使用单一的轻量级交互式分割模块执行交互式分割，这种设计不仅保持了模型分割性能的竞争力，同时也优化了模型推理流程，显著提高了计算效率，为实时交互式图像分割提供了有效的解决方案。

主权项：1.一种实时的交互式图像分割方法，其特征在于包括以下步骤：步骤1、对图像进行并行预处理，利用预训练的大型视觉模型对图像特征进行编码，得到图像特征；其中为实数空间，和分别为图像的高和宽；步骤2、使用轻量级的交互式分割模块，实时处理图像特征和用户输入的交互信息，用户输入的交互信息包括点击信息和编码信息；步骤2-1、通过编码器将用户输入的个点击信息转换为点击编码、掩码信息转换为掩码编码，得到包含点击编码和掩码编码的交互编码，每次用户通过点击进行交互时都对交互编码进行更新；步骤2-2、将交互编码与可学习的Query编码送入SAM的解码器中，并与图像特征结合，通过公式将交互编码融合转化为融合交互信息的Query编码与融合交互信息的上采样图像特征；步骤2-3、通过公式，使用点乘将融合交互信息的上采样图像特征与融合交互信息的Query编码进一步融合，得到预测掩码；其中为的转置；步骤2-4、在用户进行预定义的第次交互时，大型视觉模型通过公式，以图像特征、第次的融合交互信息的Query编码与第次的预测掩码为输入，得到聚焦于目标物体的优化图像特征，优化图像特征在后续的针对同一物体的分割流程中代替图像特征；步骤2-5、通过公式，使用两种具有不同窗口结构的图像窗口化方法交替地对MSA模块的一个Batch的输入进行预处理，预定义窗口的尺寸，得到变换后的图像特征，其中，其中为图像的数量，并从变换后的图像特征中选出包含物体的窗口得到待处理的图像特征，进行MSA计算和；其中为经MSA计算后的融合交互信息的Query编码，为Transformer中的注意力算子，为包含物体的自注意力图；步骤2-6、引入动态ReLU作为激活函数，得到与交互信息融合的动态激活结果，MSA模块输出和作为下一个FocusRefiner模块的输入，即；步骤2-7、经过FocusRefiner模块和SAM的解码器得到最终的图像编码与最终的Query编码，并通过点乘得到最终的预测掩码；将最终的预测掩码与标签计算的NormalizedFocalLoss和PointLoss作为神经网络的损失函数，即，其中为损失函数，表示遍历的每个元素；步骤2-8、在训练以及标准测试的流程中，根据最终的预测掩码与掩码标签，寻找误差最大的连通区域，选择该连通区域的中心像素作为模拟的下一次点击的位置，迭代进行下一次的模型预测；在真实测试环境中，则根据用户的交互点击反馈进行迭代预测，逐步提高分割质量。

全文数据：

权利要求：

百度查询： 厦门大学 实时的交互式图像分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD