买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：光华临港工程应用技术研发(上海)有限公司

摘要：本发明属于计算机视觉风格迁移领域，具体涉及一种基于全局信息引导网络实现真实图像风格迁移的方法。步骤：获取包含有内容图片和风格图片的数据集，并进行预处理，构建全局信息引导网络，训练优化全局信息引导网络，采用Adam优化器，通过反向传播算法，最小化总损失函数，按照设定的学习率进行参数的迭代更新，直至损失趋于平衡，停止迭代，保存训练好的网络；测试训练好的全局信息引导网络；对内容图片和风格图片进行风格迁移。本发明采用分区自适应实例归一化，使网络能够获得更多的通道信息，能够提升网络色调风格迁移的能力；采用跨通道分区注意力模块，能够使网络更好的利用全局上下文信息，引导网络实现更好的整体迁移效果。

主权项：1.一种基于全局信息引导网络实现真实图像风格迁移的方法，其特征在于，包括以下步骤：S1、获取数据集；获取包含有内容图片和风格图片的数据集，将所述数据集中的内容图片和风格图片进行预处理，从预处理后的数据集中随机抽取内容图片和风格图片分别建立测试集和训练集；S2、构建全局信息引导网络；S21、所述全局信息引导网络为编码器-解码器结构，首先使用预训练的VGG-19作为编码器分别对内容图片和风格图片进行编码，并分别提取内容图片和风格图片在不同层的特征，输出内容特征和风格特征；S22、将提取到的对应层次的内容特征和风格特征输入到分区自适应实例归一化模块进行实例归一化，得到的浅层特征通过下采样模块后与下一层的深层特征逐元素相加进行特征传递；S23、将步骤S22输出的特征进行卷积操作，然后经过双线性插值上采样操作后送入跨通道分区注意力模块，接下来通过跳连接将跨通道分区注意力模块输出的特征与实例归一化操作得到的同尺度特征进行通道拼接；S24、最后将步骤S23中得到的特征进行卷积操作后送入解码器，得到风格迁移后的生成图片；S3、训练优化全局信息引导网络；S31、将所述训练集输入到构建好的全局信息引导网络中，对网络进行优化训练，利用步骤S21中的编码器作为损失网络进行内容损失和风格损失计算，具体的表达为：内容损失的内容损失函数为：式中F[O]为生成图片送入VGG-19提取到的conv4-1层特征，F[C]为内容图片送入VGG-19提取到的conv4-1层特征；风格损失的风格损失函数为：式中F[O]为生成图片送入VGG-19提取到的特征，F[S]表示风格图片送入VGG-19提取到的特征；S32、将表示生成图片和风格图片各个颜色通道的二维矩阵展平成一维向量，并将向量按数值大小进行升序排序，然后将向量均分成相同数量像素的色彩区域，分别对各个色彩区域取均值，得到均值向量，计算生成图片和风格图片均值向量的均方误差，得到色域均值损失函数；S33、利用梯度损失函数计算梯度损失，其中为索贝尔算子；S34、将内容损失函数、风格损失函数、色域均值损失函数以及梯度损失函数线性组合成一个新的损失函数作为总损失函数；S35、采用Adam优化器，通过反向传播算法，最小化总损失函数，按照设定的学习率进行参数的迭代更新，直至损失趋于平衡，停止迭代，保存训练好的网络；S4、测试训练好的全局信息引导网络；将所述测试集输入训练好的全局信息引导网络中，输出风格迁移后的生成图片，通过SSIM和PSNR指标来判别生成图片分别与原内容图片和风格图片相比是否失真，若否，保留下网络；若是，则重新进行步骤S3，调整损失函数的权重和训练轮数；S5、对内容图片和风格图片进行风格迁移；获取内容图片和风格图片，将内容图片和风格图片输入到训练好的全局信息引导网络进行风格迁移，输出风格迁移后的生成图片；所述分区自适应实例归一化包括先将内容特征和风格特征各通道内像素按数值进行排序并均分成像素数量相等的分区，计算各分区内内容特征和风格特征的方差和均值，然后按照排序后的对应位置实现各分区内容特征和风格特征的自适应实例归一化，完成归一化后将各像素位置的顺序还原；所述跨通道分区注意力模块包括对施加十字交叉注意力得到的特征进行卷积操作，将各通道上的特征按数值升序排序并均分成含相同数量像素的区间，计算各区间的平均值，并表示成向量，得到均值向量，进行挤压激发操作得到各通道的权重向量，将权重向量与对应的区间相乘，并将各像素位置还原；所述色域均值损失函数的计算公式为：其中c为颜色通道数量，p为通道色域数量，Ovij为生成图片第i个颜色通道第j个色域的均值向量，Svij为风格图片第i个颜色通道第j个色域的均值向量。

全文数据：

权利要求：

百度查询： 光华临港工程应用技术研发(上海)有限公司 一种基于全局信息引导网络实现真实图像风格迁移的方法