买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：之江实验室

摘要：本发明公开了一种基于多元图像信息融合的加工曲面缺陷检测方法与装置，属于图像处理技术领域，包括：构建多光源缺陷采集装置，获取不同光源角度下的待分类图，输入光度立体视觉模型，得到法向量图，将待分类图和法向量图输入深度估计模型，得到深度图；将待分类图、法向量图和深度图输入特征提取器，生成原始域特征，将原始域特征进行通道级联后输入特征适配器，得到目标域特征；将目标域特征通过异常鉴别器，区分异常特征和正常特征，并定位异常特征；将定位到的异常特征通过分类网络进行细粒度缺陷分类，得到加工曲面的缺陷种类。本发明利用多光源角度下的可见光图像、法向量图和深度图的多元图像信息融合，提升了曲面缺陷的检测精度。

主权项：1.一种基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，包括以下步骤：步骤1：构建多光源缺陷采集装置，获取加工曲面在不同光源角度下的待分类图，将待分类图、或待分类图及其对应的对象掩码图像输入光度立体视觉模型，得到表面法向量图，将待分类图和表面法向量图输入深度估计模型，得到深度图；步骤2：将待分类图、表面法向量图和深度图输入预训练的特征提取器，生成原始域特征，将原始域特征进行通道级联后输入特征适配器，得到目标域特征，包括：预训练的特征提取器为一个基于可见光图像-深度-法向量的离散自编码器网络，依次包括两个编码器和两个解码器，在训练阶段，采用3D模拟深度数据、模拟法向量数据和ImageNet数据集进行监督训练，根据预设的使用批次、学习率以及最大迭代次数，实现特征提取器的预训练；所述原始域特征，包括待分类图对应的局部可见光特征图，表面法向量图对应的局部法向量特征图以及深度图对应的局部深度特征图；所述特征适配器，采用全卷积神经网络，通过组卷积的形式对通道级联后的局部可见光特征图、局部法向量特征图和局部深度特征图进行操作，得到目标域特征，、分别表示图像的高度、宽度，、和分别表示目标域中的局部可见光特征、局部法向量特征和局部深度特征的通道数，不同特征之间保持相对独立；步骤3：通过异常特征生成器生成缺陷特征，分别与目标域特征相加，得到局部异常特征，包括：异常特征生成器，包括高斯噪声生成器和柏林噪声生成器，高斯噪声生成器生成符合标准正态分布的三维高斯噪声和，作为缺陷特征，分别与目标域中的局部可见光特征、局部法向量特征进行相加操作，得到局部可见光异常特征和局部法向量异常特征；柏林噪声生成器生成柏林噪声，作为缺陷特征，与目标域中的局部深度特征进行相加操作，得到局部深度异常特征；局部可见光异常特征、局部法向量异常特征以及局部深度异常特征组成所述局部异常特征；将目标域特征作为正样本，局部异常特征作为负样本，完成对异常鉴别器的训练，采用训练好的异常鉴别器，区分目标域特征中的异常特征和正常特征，并定位异常特征；步骤4：对定位到的异常特征按照最小包围框进行裁剪处理，得到裁剪特征，将所述裁剪特征输入分类网络进行细粒度缺陷分类，得到加工曲面的缺陷种类。

全文数据：

权利要求：

百度查询： 之江实验室 基于多元图像信息融合的加工曲面缺陷检测方法与装置