申请/专利权人：北京邮电大学

申请日：2023-12-21

公开（公告）日：2024-05-24

公开（公告）号：CN118072006A

主分类号：G06V10/26

分类号：G06V10/26;G06V10/52;G06V10/75;G06V10/80;G06V10/82

优先权：

专利状态码：在审-公开

法律状态：2024.05.24#公开

摘要：本发明公开了一种基于多谱融合策略的传统纹样分割方法，包括如下步骤：完成纹样基础数据集的构建；构建基于多谱融合的纹样扩展数据集；经过特征提取、显著性检测、多尺度特征匹配、分割掩码输出四个阶段，对纹样数据进行高精度语义分割；该一种基于多谱融合策略的传统纹样分割方法，引入多谱特征融合策略，基于元学习架构，实现对传统纹样图案的高精度小样本语义分割。本发明针对目前传统纹样载体材质多样、样本量较小的问题，扩充纹样数据集，提高分割算法在小样本场景的适应能力，优化不同材质下传统纹样的提取效果。

主权项：1.一种基于多谱融合策略的传统纹样分割方法，其特征在于：包括如下步骤：步骤一：完成纹样基础数据集的构建，具体操作如下：1选用三种方法完成传统纹样图像的获取：第一种方式为选取部分纹样相关的书籍，采用扫描仪对书籍进行扫描，获取所需图片，其中选取的专业书籍包括《中国经典纹样图鉴》、《中国纹样全集》等；第二种方式为依托博物馆开放资源，实现方式具体为访问各大博物馆对外界开放的文化资源，例如孔子博物馆、安阳博物馆、故宫博物院；第三种方式为依托北京邮电大学已整理归类的文化资源；2采用开源的自动标注工具EISeg，依次经过加载分割模型结构、添加加载标签、交互式分割、边缘调整等步骤，选择灰度图像格式完成保存，作为标注结构，原始图像与灰度掩膜图像一一对应，以此构成纹样基础数据集；步骤二：构建基于多谱融合的纹样扩展数据集，具体操作如下：1子步骤一：对纹样图片进行傅里叶变换，从空间域转为频域，其中设x代表输入图片，H、W代表图像二维尺寸，C代表图像通信道，xh,w所在坐标系为频域，Fxm,n所在坐标系为空间域，首先将输入图片进行二维傅里叶变换，以单通道图像为例，具体公式如下： 子步骤二：生成图片的相位谱和幅度谱，经傅里叶变化后Fx由实部和虚部两部分构成，设Rx、Ix分别代表Fx的实部和虚部，FA,FP为RGB图像进行傅里叶变换后的幅度谱和相位谱，则幅度谱和相位谱可以由实部和虚部得到，具体公式如下： 子步骤三：生成掩膜，选取指定比例的中心部分区域，为下一步幅度谱交换做准备，设M_β为与输入图像等大小的掩膜，其中心坐标为0，0，除中心区域的值为1外，其余均为零。中心区域的大小由参数β确定，β为0.5时，掩膜值均为1，β为0时，掩膜值均为0，掩膜起到了筛选指定比例大小区域的作用，具体公式如下： 子步骤四：通过掩膜与新引入的材质数据集图片，生成新的融合幅度谱，傅里叶逆变后生成重构图片，设原始输入纹样图像为x1，提供部分幅度谱信息的材质图像为x2，生成的重构图片为x3，F-1为傅里叶逆变换，具体公式如下： 将重构图像与原始纹样图像的标注信息一一对应，与纹样基础数据集一同作为纹样扩展数据集；2将纹样扩展数据集按语义平均分为四组，采取交叉验证法，轮流选取其中一组作为未知类别的验证数据集，其余三组作为训练数据集；步骤三：经过特征提取、显著性检测、多尺度特征匹配、分割掩码输出四个阶段，对纹样数据进行高精度语义分割，具体操作如下：1在特征提取阶段，输入为支持图像、支持图像灰度掩膜及查询图像，首先将支持图像及查询图像输入预训练的骨干网络例如VGG-16、ResNet-50等，获得支持图像特征和查询图像特征，池化操作后，通过双线性插值对灰度掩膜执行下采样操作，之后将灰度掩膜与支持图像特征进行点乘操作，得到支持图像的前景特征，以保留特定类别的前景特征；2在显著性检测阶段，对输入的查询图像进行二维傅里叶变换，得到查询图像的相位谱及幅度谱，之后在相位谱保持不变的情况下，与振幅进行统一处理后的幅度谱，通过傅里叶逆变换重建图像，使用高斯滤波器优化结果后，得到查询图像的显著图并归一化，获得先验掩膜；3在多尺度特征匹配阶段，首先将扩张到对应尺度的支持特征、查询特征和先验掩膜输入多尺度特征匹配模块，该模块主要包括特征聚焦模块以及跨尺度融合模块两个子模块，在特征拼接模块中，将输入信息投影到不同的尺度上，对于每个不同尺度，查询特征分别与支持特征和先验掩膜进行交互，输出合并特征，之后通过跨尺度融合模块，使合并特征在不同的尺度上进行交互，获取融合多尺度的细化特征，最后将不同尺度的特征采样到同样大小后进行拼接，通过1×1卷积获得最终的查询图像特征；4在分割掩码输出阶段，在多尺度特征匹配模块的输出特征上，在经过一个卷积块和一个分类头后，通过softmax函数产生最终的预测。卷积块由两个3×3卷积组成，分类头由一个3×3卷积和一个1×1卷积组成。

全文数据：

权利要求：

百度查询： 北京邮电大学 一种基于多谱融合策略的传统纹样分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD