买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学;昆明物理研究所

摘要：本发明公开了一种基于有限数据多尺度目标学习的图像着色方法及其系统，包括：S1：利用特征记忆模块构建空间特征和颜色特征；S2：根据所述空间特征和所述颜色特征，利用生成器对训练图像的灰度图像进行处理，得到着色图像；S3：利用判别器对所述着色图像和所述训练图像进行判别，得到判别结果；S4：根据所述判别结果，利用融合损失函数，对所述生成器和所述判别器进行训练，得到训练好的生成器和训练好的判别器；S5：将测试图像的灰度图像输入至所述训练好的生成器中，得到测试图像的着色图像。本发明能够有效解决现有技术受制于训练数据规模、不能有效区分小目标区域颜色边界的问题。

主权项：1.一种基于有限数据多尺度目标学习的图像着色方法，其特征在于，基于有限数据多尺度目标学习的图像着色方法包括：S1：利用特征记忆模块构建空间特征和颜色特征；S2：根据所述空间特征和所述颜色特征，利用生成器对训练图像的灰度图像进行处理，得到着色图像；S3：利用判别器对所述着色图像和所述训练图像进行判别，得到判别结果；S4：根据所述判别结果，利用融合损失函数，对所述生成器和所述判别器进行训练，得到训练好的生成器和训练好的判别器；S5：将测试图像的灰度图像输入至所述训练好的生成器中，得到测试图像的着色图像；所述步骤S1中，所述特征记忆模块结构为：M＝K1,V1,A1,K2,V2,A2,…,Km,Vm,Am其中，m是所述特征记忆模块的容量，K表示用于存储输入图像的空间特征存储器，V表示颜色特征存储器，A表示年龄矢量；所述步骤S2中，所述生成器包括多个残差连接块，多个所述残差连接块构成Unet结构且包括编码部分和解码部分，所述编码部分和所述解码部分成轴对称结构；各所述残差连接块包括第一3×3卷积层、第一Zoom-IN模块、第一Relu激活函数层、第二3×3卷积层、第二Zoom-IN模块、第二Relu激活函数层、第一2×2卷积层和第三Zoom-IN模块；所述第一3×3卷积层、所述第一Zoom-IN模块、所述第一Relu激活函数层、所述第二3×3卷积层和所述第二Zoom-IN模块依次连接，所述第一2×2卷积层和第三Zoom-IN模块连接，所述第一3×3卷积层和所述第一2×2卷积层的输入为所述测试图像的灰度图像或上一个残差连接块的输出结果，所述第二Zoom-IN模块的输出结果和所述第三Zoom-IN模块的输出结果在特征通道上相加，并将加和结果作为所述第二Relu激活函数层的输入，所述第二Relu激活函数层的输出作为该残差连接块的输出结果；所述步骤S3中，所述判别器包括多个子判别器，多个所述子判别器依次设置，且具有不同的特征尺度；多个所述子判别器包括第一子判别器D1、第二子判别器D2和第三子判别器D3，所述第一子判别器D1包括4个完全卷积层，所述第二子判别器D2包括5个完全卷积层，所述第三子判别器D3包括6个完全卷积层，所述第一子判别器D1的最后一层输出结果作为所述第二子判别器D2的输入，所述第二子判别器D2的最后一层输出结果作为所述第三子判别器D3的输入，所述第三子判别器D3的最后一层用于输出所述判别结果；所述第一子判别器D1的最后一层所输出的特征尺度大小为16×16；所述第二子判别器D2的最后一层所输出的特征尺度大小为8×8；所述第三子判别器D3的最后一层所输出的特征尺度大小为4×4；所述步骤S4中，所述融合损失函数LG为：LG＝λ1*Ladv+λ2*LsL1+λ3*Lp其中，Ladv表示对抗性损失且表示服从x～Pdata数据分布的数学期望，x表示灰度图像，C表示颜色特征，Gx,C表示生成器的输出，y是真实图像，D·表示判别器对生成图像判别为真实图像的概率的估计，Pdata表示服从x分布的噪声向量，LsL1表示内容平滑L1损失且y1表示着色图像的ab通道值，表示真实图像的ab通道值，δ表示对损失函数的约束项，Lp表示多特征语义感知损失且Ei表示服从第i层数据分布的期望值，CiHiW表示第i层特征图的形状，φi表示预训练的神经网络的第i层，i表示第i层特征图，N表示卷积层的数量，ypred表示着色图像，λ1、λ2和λ3分别表示对抗性损失Ladv、内容平滑L1损失LsL1和多特征语义感知损失Lp的权重系数。

全文数据：

权利要求：

百度查询： 西北工业大学 昆明物理研究所 基于有限数据多尺度目标学习的图像着色方法及其系统