买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心)

摘要：本发明涉及一种基于SAM的零样本多聚焦图像融合方法、装置、设备及存储介质。该方法包括：利用SAM模型分别对同一场景的两幅源图像进行分割，得到每幅图像的分割掩码集合；计算来自不同分割掩码集合的所有掩码对的交并比，根据交并比值匹配指向相同视觉区域的掩码，形成匹配的掩码对集合；基于匹配的掩码对集合，比较每对匹配掩码在两幅源图像中重叠区域的清晰度，根据清晰度得分对重叠区域进行预标记，获得指派掩码集合；采用逐像素投票机制整合各指派掩码的前景背景信息，得到初始决策掩码；对初始决策掩码进行优化，获得最终决策掩码；基于最终决策掩码，采用加权平均的方式获得融合图像。本发明极大地提高了多聚焦图像融合算法的精度和泛化性。

主权项：1.一种基于SAM的零样本多聚焦图像融合方法，其特征在于，该方法包括以下步骤：S1、掩码生成：利用SAM模型分别对同一场景的两幅源图像进行分割，得到每幅图像的分割掩码集合；S2、掩码匹配：计算来自不同分割掩码集合的所有掩码对的交并比，并根据交并比值匹配指向相同视觉区域的掩码，形成匹配的掩码对集合；S3、前景背景指派：基于匹配的掩码对集合，比较每对匹配掩码在两幅源图像中重叠区域的清晰度，根据清晰度得分对重叠区域进行预标记，获得指派掩码集合；S4、投票决策：采用逐像素投票机制整合指派掩码集合中各指派掩码的前景背景信息，得到初始决策掩码；S5、优化处理：使用形态学操作和引导滤波方法对初始决策掩码进行优化，获得最终决策掩码；S6、图像融合：基于最终决策掩码，采用加权平均的方式获得融合图像；所述步骤S1中，所述利用SAM模型分别对同一场景的两幅源图像进行分割，得到每幅图像的分割掩码集合，包括：将同一场景的源图像I1和源图像I2分别输入SAM模型，分别分割出每幅源图像中所有可能的潜在对象或区域，由此得到每幅源图像的分割掩码集合，并将每个分割掩码集合中的掩码按面积大小排序；所述步骤S1，利用公式（1）和公式（2）实现： （1）； （2）；在公式（1）和公式（2）中，和分别表示源图像I1和源图像I2；和分别表示将源图像I1和源图像I2过SAM模型处理和排序操作后得到的分割掩码集合；表示掩码排序操作，根据特定的比较键值对元素进行排序；表示SAM的自动生成掩码操作，其接收待分割的图像，根据图像的语义信息自动生成n张二值分割掩码，n的值由图像内容决定；表示掩码集合中的第i张掩码，表示掩码集合中的第j张掩码；所述步骤S2中，计算来自不同分割掩码集合的所有掩码对的交并比，并根据交并比值匹配指向相同视觉区域的掩码，形成匹配的掩码对集合，包括：S21、利用公式（3）计算所有来自不同掩码集合的掩码对的交并比IOU： （3）；在公式（3）中，表示与的交并比；表示分割掩码集合中的第i张掩码，表示分割掩码集合中的第j张掩码；和分别表示将源图像I1和源图像I2经过SAM模型处理和排序操作后得到的分割掩码集合；S22、将掩码对的交并比按照从大到小的顺序进行排序，选择前N个交并比对应的掩码对，作为匹配的掩码对，形成匹配的掩码对集合；N为正整数；所述步骤S3中，基于匹配的掩码对集合，比较每对匹配掩码在两幅源图像中重叠区域的清晰度，根据清晰度得分对重叠区域进行预标记，获得指派掩码集合，包括：S31、获取重叠区域：基于N个匹配的掩码对，利用公式（4）获取每对匹配掩码的重叠区域： （4）；在公式（4）中，表示掩码和掩码的重叠区域掩码；表示像素位置；表示分割掩码集合中的第i张掩码；表示分割掩码集合中的第j张掩码；S32、计算清晰度得分：采用公式（5）和公式（6）分别计算每对匹配掩码在源图像I1和源图像I2中重叠区域的清晰度得分： （5）； （6）；在公式（5）和公式（6）中，表示掩码在源图像I1中对应区域的清晰度得分；表示掩码在源图像I2中对应区域的清晰度得分；和分别表示源图像I1和源图像I2；表示掩码和掩码的重叠区域掩码；是公式（5）和公式（6）中等式右边的表达式的一般形式，其具体计算过程采用公式（7）-公式（10）实现： （7）； （8）； （9）； （10）；在公式（7）-公式（10）中，用于量化给定图像在指定掩码作用下的清晰度，通过计算图像在掩码区域内所有点的梯度强度平均值实现；表示像素位置；表示处的梯度强度，是水平梯度和垂直梯度的加权组合，权重由参数控制，0≤≤1；和分别表示处水平方向和垂直方向上的梯度幅度；[]和[]分别表示在水平方向和垂直方向上应用Sobel算子；表示图像在处的像素强度值；表示掩码在处的值；S33、前景背景指派：根据清晰度得分，利用公式（11）对每对匹配掩码的重叠区域进行前景背景指派，得到N张指派掩码，获得指派掩码集合： （11）；在公式（11）中，表示由掩码和掩码得到的指派掩码；表示像素位置；表示掩码和掩码的重叠区域掩码；表示掩码在源图像I1中对应区域的清晰度得分；表示掩码在源图像I2中对应区域的清晰度得分；若的值大于或等于的值，则在指派掩码中将区域预标记为前景，像素值设为1；反之，将区域预标记为背景，像素值设为0，其余未被标记的区域像素值设为None；所述步骤S4中，采用逐像素投票机制整合指派掩码集合中各指派掩码的前景背景信息，得到初始决策掩码，包括：对于任一像素位置，利用公式（12）所示的投票机制决策其最终归属，得到初始决策掩码： （12）；在公式（12）中，表示初始决策掩码；表示像素位置；表示在N张指派掩码中，像素点处值为1的掩码计数；表示在N张指派掩码中，像素点处为非None的掩码计数；若大于或等于的一半，则在初始决策掩码中将像素点判定为前景像素，像素值设为1；若否，则在初始决策掩码中将像素点判定为背景像素，像素值设为0。

全文数据：

权利要求：

百度查询： 齐鲁工业大学(山东省科学院) 山东省计算中心(国家超级计算济南中心) 一种基于SAM的零样本多聚焦图像融合方法、装置、设备及存储介质