买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：腾讯科技(深圳)有限公司

摘要：本发明实施例公开了一种生成对抗网络的训练方法、装置和存储介质；其中，所述方法包括：初始化生成对抗网络中的生成器；基于所述生成器得到全局判决损失和像素判决损失；基于所述全局判决损失初始化所述生成对抗网络中的全局判决器；基于所述像素判决损失初始化所述生成对抗网络中的像素判决器；固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，直至满足所述生成对抗网络的收敛条件。

主权项：1.一种生成对抗网络的训练方法，其特征在于，所述方法包括：初始化生成对抗网络中的生成器；基于所述生成器得到全局判决损失；确定原始自然图像与所述生成器输出的重构图像之间的像素差异，所述像素差异包括所述重构图像的像素判决为非自然图像的像素的第一初始概率矩阵、以及所述原始自然图像的像素判决为非自然图像的像素的第二初始概率矩阵；基于所述第一初始概率矩阵和所述第二初始概率矩阵得到像素判决损失；基于所述全局判决损失初始化所述生成对抗网络中的全局判决器；基于所述像素判决损失初始化所述生成对抗网络中的像素判决器；固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，直至满足所述生成对抗网络的收敛条件。

全文数据：生成对抗网络的训练方法、图像处理方法、装置和存储介质技术领域本发明涉及计算机技术，尤其涉及一种生成对抗网络的训练方法、图像处理方法、装置和存储介质。背景技术超分辨率技术SuperResolution，SR是指从观测到的低分辨率图像重建出相应的超分辨率图像，能够提高图像分辨率，简称为超分，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。SR可以分为多帧超分与单帧超分两类。单帧超分通过处理一张图，得到该张图对应的超分辨率图像。多帧超分通过处理多张图，得到多张图对应的超分辨率图像。基于深度学习的SR，主要是基于单帧超分进行单张低分辨率图像的重建的单张图像超分辨率重建SingleImageSuper-Resolution，SISR。在SISR中，包括有超分辨率卷积神经网络Super-ResolutionConvolutionalNeuralNetwork，SRCNN、超分生成对抗网络SuperResolutionGenerativeAdversarialNetwork，SRGAN等网络模型。SRCNN是一种能够基于固定放大倍数对图片进行超分辨率的超分辨率模型，但SRCNN无法恢复图像的随机细节。SRGAN是一种能够自动补充图像细节的基于深度学习的超分辨率网络模型，但是，在某些场景，产生的超分辨率图像如图1所示，在101位置处会存在明显失真的噪点，边缘粗糙，影响图像效果。发明内容本发明实施例期望提供一种生成对抗网络的训练方法、图像处理方法、装置和存储介质，能够提升生成对抗网络的图像处理效果。本发明实施例的技术方案是这样实现的：本发明实施例提供一种生成对抗网络的训练方法，所述方法包括：初始化生成对抗网络中的生成器；基于所述生成器得到全局判决损失和像素判决损失；基于所述全局判决损失初始化所述生成对抗网络中的全局判决器；基于所述像素判决损失初始化所述生成对抗网络中的像素判决器；固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，直至满足所述生成对抗网络的收敛条件。上述方案中，所述基于所述全局判决损失初始化所述生成对抗网络中的全局判决器，包括：基于所述全局判决损失对所述全局判决器的参数进行迭代地更新，直至所述全局判决损失收敛；所述基于所述像素判决损失初始化所述生成对抗网络中的像素判决器，包括：基于所述像素判决损失对所述像素判决器的参数进行迭代地更新，直至所述像素判决损失收敛。上述方案中，在生成器中：对训练图像进行卷积得到第一特征图，对所述第一特征图进行卷积得到第二特征图；将所述第一特征图和所述第二特征图进行融合，得到第一融合特征图；对所述第一融合特征图进行像素重排，得到重排特征图；对所述重排特征图进行卷积，得到重构图像。上述方案中，在全局判决器中：对所述重构图像进行卷积，得到至少两个特征图；将所述至少两个特征图中的第三特征图和第四特征图进行融合，得到第二融合特征图；基于所述第二融合特征图进行判决，得到将所述重构图像判决为非自然图像的第一概率。上述方案中，在像素判决器中：对所述重构图像进行卷积，得到与所述重构图像的尺寸相同的第五特征图；对所述第五特征图中的每一个像素进行判决，得到将所述第五特征图中各像素判别为非自然图像的像素的第一概率矩阵。上述方案中，所述直至满足所述生成对抗网络的收敛条件包括：迭代地更新所述生成器、所述全局判决器和所述像素判决器的参数，直至所述生成器的感知损失、所述全局判决器的全局判别损失和所述像素判决器的像素判决损失均收敛。本发明实施例提供一种图像处理方法，所述方法包括：获取待处理图像；在所述生成器中，对所述待处理图像进行卷积处理，得到所述待处理图像对应的目标图像；所述生成器是基于所述生成器所在的生成对抗网络中的全局判决器和像素判决器经过以下处理训练得到的：初始化所述生成器、所述全局判决器和所述像素判决器；更新所述生成器、所述全局判决器和所述像素判决器的参数，直至满足所述生成对抗网络的收敛条件。上述方案中，所述对所述待处理图像进行卷积处理，得到所述待处理图像对应的目标图像，包括：对所述待处理图像进行卷积得到第六特征图，对所述第六特征图进行卷积得到第七特征图；将所述第六特征图和所述第七特征图进行融合，得到第三融合特征图；对所述第三融合特征图进行像素重排，得到重排特征图；对所述重排特征图进行卷积，得到所述目标图像。上述方案中，所述更新所述生成器、所述全局判决器和所述像素判决器的参数，包括：固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数。本发明实施例提供一种生成对抗网络的训练装置，所述装置包括：初始生成单元，用于初始化生成对抗网络中的生成器；损失确定单元，用于基于所述生成器得到全局判决损失和像素判决损失；初始全局单元，用于基于所述全局判决损失初始化所述生成对抗网络中的全局判决器；初始像素单元，用于基于所述像素判决损失初始化所述生成对抗网络中的像素判决器；更新单元，用于固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，直至满足所述生成对抗网络的收敛条件。本发明实施例提供一种图像处理装置，所述装置包括：获取单元，用于获取待处理图像；超分单元，用于在生成对抗网络的生成器中，对所述待处理图像进行卷积处理，得到所述待处理图像对应的目标图像；其中，所述生成器是基于所述生成对抗网络中的全局判决器和像素判决器经过以下处理得到的：初始化所述生成器、所述全局判决器和所述像素判决器；更新所述生成器、所述全局判决器和所述像素判决器的参数，直至满足所述生成对抗网络的收敛条件。本发明实施例提供一种生成对抗网络的训练装置，所述装置包括：存储器、通信总线和处理器，其中：所述存储器，用于存储计算机程序；所述通信总线，用于实现处理器和存储器之间的连接通信；所述处理器，用于执行存储器中存储的计算机程序时，实现上述的生成对抗网络的训练方法的步骤。本发明实施例提供一种图像处理装置，所述装置包括：存储器、通信总线和处理器，其中：所述存储器，用于存储计算机程序；所述通信总线，用于实现处理器和存储器之间的连接通信；所述处理器，用于执行存储器中存储的计算机程序时，实现上述图像处理方法的步骤。本发明实施例提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时，实现上述生成对抗网络的训练方法，或上述图像处理方法。本发明实施例具有以下有益效果：在包括生成器、全局判决器和像素判决器的生成对抗网络中，对生成对抗网路进行训练时，在固定两个模型的参数的情况下，对其余模型的参数进行更新，从而实现全局判决器、像素判决器和生成器之间的对抗，使得生成对抗网络中各模型的参数达到最优化，使得生成器进行超分辨率处理时具有自动补充图像细节的同时，避免图像的噪点、边缘粗糙等问题的性能。附图说明图1是相关技术中的超分辨图像的效果示意图；图2是本发明实施例GAN的结构示意图一；图3是本发明实施例的网络结构示意图；图4是本发明实施例的生成对抗网络的训练方法的流程示意图一；图5是本发明实施例SRCNN的结构示意图；图6是本发明实施例GAN的结构示意图二；图7是本发明实施例的图像处理方法的流程示意图；图8是SRGAN的结构示意图；图9是本发明实施例中生成器的结构示意图；图10是本发明实施例中残差块的结构示意图；图11是本发明实施例中全局判决器的结构示意图；图12是本发明实施例中局部判决器的结构示意图；图13是本发明实施例中监督器的结构示意图；图14是本发明实施例中生成对抗网络的训练方法的流程示意图二；图15是本发明实施例中超分辨率图像效果对比示意图一；图16是本发明实施例中超分辨率图像效果对比示意图二；图17是本发明实施例生成对抗网络的训练装置的组成结构示意图；图18是本发明实施例图像处理装置的组成结构示意图；图19是本发明实施例生成对抗网络的训练装置或图像处理装置的硬件组成结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本发明实施例所使用的所有的技术和科学术语与属于本发明实施例的技术领域的技术人员通常理解的含义相同。本发明实施例所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。1生成对抗网络GenerativeAdversarialNetworks，GAN，即生成式对抗网络，是一种深度学习模型。模型通过框架中至少两个模块：生成模型GGenerativeModel和判别模型DDiscriminativeModel的互相博弈学习产生相当好的输出。比如：G是制作超分图像本文中也称为重构图像的模型，D是检测是否为原始自然图像的模型。G的目标是使D判断不出G生成的超分图像是否为非自然图像，D则要尽可能的分辨出输入的图像是原始自然图像还是G生成的非自然图像，通过G和D的参数不断的迭代更新，直到生成对抗网络满足收敛条件。2生成器，即生成模型，用于通过低分辨率的图像生成高分辨率图像。生成器可为基于深度学习的卷积神经网络。3判别器，为判别模型，判断输入的图像x是生成器生成的非自然图像，还是自然图像。判别器输出一个0-1区间的概率值D1x，当D1x为0时，表示判决输入的图像x是自然图像，当D1x为1时，表示判决输入的图像x是非自然图像。4自然图像，未经过生成对抗网络的分辨率提升处理的图像，可为摄像头等图像采集装置直接采集到的图像。5非自然图像，经过生成对抗网络的分辨率提升处理得到的图像。6训练图像，对生成对抗网络进行训练的低分辨率图像，可通过对高分辨率的原始自然图像进行降采样得到。7原始自然图像，对生成对抗网络进行训练的高分辨率图像，属于自然图像。可通过降采样处理得到对应的低分辨的训练图像。本发明实施例可提供为生成对抗网络的训练方法、图像处理方法、装置和存储介质。实际应用中，生成对抗网络的训练方法可由生成对抗网络的训练装置实现，生成对抗网络的训练装置中的各功能模块可以由设备如终端设备、服务器或服务器集群的硬件资源，如处理器等计算资源、通信资源如用于支持实现光缆、蜂窝等各种方式通信协同实现。本发明实施例的生成对抗网络的训练方法可应用于图2所示的GAN，如图2所示，包括三个卷积神经网络：生成器201、全局判决器202和像素判决器203。其中，生成器201，用于对低分辨率图像进行分辨率提升，输出分辨率放大的图像即重构图像。全局判决器202，用于判断接收的图像是由生成器生成的非自然图像，还是原始自然图像，输出判断的概率。像素判决器203，用于判断接收的图像的像素是由生成器生成的非自然图像的像素，还是原始自然图像的像素，输出判断的概率矩阵。在对生成器201、全局判决器202和像素判决器203进行训练，初始化生成器201、全局判决器202和像素判决器203，并在固定生成器201、全局判决器202和像素判决器203中任意两个模型的参数情况下，对其余模型的参数进行更新，直至满足所述生成对抗网络的收敛条件时，生成对抗网络完成训练，从而基于相互竞争，获得GAN的最佳参数。其中，基于全局判决器202输出的概率和像素判决器203输出的概率矩阵确定感知损失，基于感知损失对生成器201的参数进行更新。在图2所示的GAN的基础上，本发明实施例的应用GAN的一个系统架构可如图3所示，包括：客户端31和服务器32，其中，在客户端31或服务器32中部署有图2所示的GAN，当图2所示的GAN训练完成后，可将GAN中训练好的生成器201部署在客户端31中，也可将GAN中训练好的生成器201部署在服务器32上。其中，可在客户端31上安装有图像处理的移动应用App，通过图像处理App触发对待处理图像进行分辨率提升的超分请求。当训练好的生成器201部署在客户端31中。客户端中部署的生成器201接收待处理图像，对待处理图像进行卷积，得到分辨率提升后的目标图像。在一具体的使用场景中，训练好的生成器201部署在服务器32中，客户端31通过超分请求将待处理图像33发送至服务器32。服务器32接收到超分请求后，通过部署的生成器201对超分请求携带的待处理图像33进行卷积，得到放大分辨率后的目标图像34，并将目标图像34发送至客户端32。下面，结合图2和图3所示的网络架构示意图，对本发明实施例提供的生成对抗网络的训练方法、图像处理方法、装置和存储介质的各实施例进行说明。本发明实施例提供一种生成对抗网络的训练方法如图4所示，将结合图4示出的步骤进行说明。S401、初始化生成对抗网络中的生成器。对图2所示的GAN中的生成器进行初始化时，获取训练图像和训练图像对应的原始自然图像，将训练图像输入生成器中。训练图像和原始自然图像为具有不同分辨率的同一图像，训练图像为低分辨率图像，原始自然图像为高分辨率图像。训练图像可对原始自然图像进行降采样得到，比如：对于尺寸为M*N的原始自然图像，将原始自然图像中s*s窗口内的图像变成一个像素，该像素点的值为s*s窗口内所有像素的均值，从而进行s倍下采样，得到尺寸为Ms*Ns尺寸的分辨率相对于原始自然图像缩小了s倍的训练图像。生成器接收到训练图像后，对训练图像进行分辨率提升处理，得到重构图像。这里，当训练图像的尺寸为H×W时，重构图像的尺寸为rH×rW，其中，r为分辨率的放大倍数。这里，r与s的大小可相同。通过公式1对重构图像和训练图像对应的原始自然图像进行计算，得到生成器的均方误差损失Loss_mse，Loss_mse＝∑Gxi-yi2公式1；其中，xi为第i个训练图像，i为介于0和训练图像集中训练图像的总数量之间的整数；Gxi为生成器G基于第i个训练图像生成的重构图像；yi为xi对应的原始自然图像。通过最均方误差损失对生成器的参数进行迭代地更新，使得生成器的均方误差损失减小，直至均方误差损失收敛。通过均方误差损失对生成器的参数进行迭代地更新时，通过最优化方法对生成器的参数不断进行更新，以减小生成器的均方误差损失。当多次更新后的生成器的均方误差损失的下降值小于设定的第一阈值时，认为生成器的均方误差损失收敛，停止更新生成器的参数。比如：生成器基于训练图像得到重构图像1，基于重构图像1得到均方误差损失为Loss_mse1，基于最优化处理对生成器的参数进行第一次更新，将训练图像输入更新后生成器得到重构图像2，基于重构图像2得到生成器的均方误差损失为Loss_mse2，基于最优化处理对生成器的参数进行第二次更新，将训练图像输入更新后生成器得到重构图像3，基于重构图像3得到均方误差损失为Loss_mse3，直到均方误差损失收敛，停止更新生成器的参数，完成生成器的初始化。最优化处理所采用的最优化方法可包括：梯度下降法，牛顿法和拟牛顿法等对损失函数进行优化的方法。需要说明的是，本发明实施例中，对最优化处理所采用的最优化方法不进行任何的限制。在梯度下降法中，用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向。最速下降法越接近目标值，步长越小，前进越慢。当损失函数是凸函数时，梯度下降法的解是全局解。牛顿法是在实数域和复数域上近似求解方程的方法。方法使用函数fx的泰勒级数的前面几项寻找方程fx＝0的根。拟牛顿法是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵近似Hessian矩阵的逆，从而简化了运算的复杂度。S402、基于所述生成器得到全局判决损失和像素判决损失。这里，基于原始自然图像与所述生成器输出的重构图像之间的全局差异，确定所述全局判决损失；基于所述原始自然图像与所述生成器输出的重构图像之间的像素差异，确定所述像素判决损失。在S401中完成生成器的初始化后，将训练图像输入生成器中，生成器输出重构图像，基于原始自然图像和重构图像之间的全局差异得到全局判决损失，并基于原始自然图像和重构图像之间的像素差异得到像素判决损失。在一些实施例中，所述基于原始自然图像与所述生成器输出的重构图像之间的全局差异，确定所述全局判决损失，包括：在所述生成器中对训练图像进行分辨率提升处理，得到所述重构图像；在所述全局判决器中对所述重构图像和所述原始自然图像进行判决，得到将所述重构图像判决为非自然图像的第一初始概率、以及将所述原始自然图像判决为非自然图像的第二初始概率；其中，所述训练图像是对所述原始自然图像进行降采样得到；基于所述第一初始概率和所述第二初始概率得到所述全局判别损失。全局判决器对输入的图像进行判决，判决输入的图像是否为非自然图像，并输出将输入图像判决为非自然图像的概率。全局判决器输出的概率位于0-1之间，当输出的概率大于概率阈值时，全局判决器的判断结果表征将输入的图像判决为非自然图像。当输出的概率小于概率阈值时，全局判决器的判断结果表征将输入图像判决为自然图像。其中，概率阈值可为0.5。这里，固定生成器的参数，在生成器中基于训练图像得到重构图像。在全局判决器中对重构图像和原始自然图像进行判决，得到将重构图像判决为非自然图像的第一初始概率和将原始自然图像判决为非自然图像的第二初始概率，并通过公式2对第一初始概率和第二初始概率进行计算，得到全局判决器的全局判决损失Loss_global_d，Loss_global_d＝∑-logD1Gxi+∑-log1-D1yi公式2；其中，D1Gxi为全局判决器D1将重构图像Gxi判决为非自然图像的第一概率；D1yi为全局判决器D1将原始自然图像yi判决为非自然图像的第二概率。此时，第一概率为第一初始概率，第二概率为第二初始概率。在一些实施例中，所述基于所述原始自然图像与所述生成器输出的重构图像之间的像素差异，确定所述像素判决损失，包括：在所述生成器中对训练图像进行分辨率提升处理，得到所述重构图像；在所述像素判决器中对所述重构图像和所述原始自然图像进行判决，得到将所述重构图像的像素判决为非自然图像的像素的第一初始概率矩阵、以及将所述原始自然图像的像素判决为非自然图像的像素的第二初始概率矩阵；其中，所述训练图像是对所述原始自然图像进行降采样得到；基于所述第一初始概率矩阵和所述第二初始概率矩阵得到所述像素判别损失。像素判决器对输入的图像进行判决，判决输入的图像中的各像素是否为非自然图像的像素，也就是判决输入的图像是否为生成器生成的像素，并输出将输入图像的像素判决为非自然图像的像素的概率矩阵，其中，概率矩阵中为各像素被判决为非自然图像的像素的概率组成的矩阵。输出的概率矩阵的大小和输入的图像的大小相同，各元素分别对应不同的像素。像素判决器输出的概率矩阵的各元素位于0-1之间。当输出的元素大于元素阈值时，表征将输入的图像中该元素对应的像素判决非自然图像的像素。当输出的元素小于元素阈值时，表征将输入的图像中该元素对应的像素判决自然图像的像素。元素阈值可为0.5。这里，固定生成器的参数，在生成器中基于训练图像得到重构图像。像素判决器中对重构图像和原始自然图像进行判决，得到将重构图像的像素判决为非自然图像的像素的第一初始概率矩阵和将原始自然图像的像素判决为非自然图像的像素的第二初始概率矩阵，并通过公式3对第一初始概率矩阵和第二初始概率矩阵进行计算，得到像素判决器的像素判决损失Loss_pixel_d，Loss_pixel_d＝∑-logsumD2Gxi+∑-logsum1-D2yi公式3；其中，D2Gxi为像素判决器D2将重构图像Gxi的像素判决为非自然图像的像素的第一概率矩阵；D2yi为像素判决器D2将原始自然图像yi的像素判决为非自然图像的像素的第二概率矩阵，sum为对矩阵的各元素进行矩阵求和。此时，第一概率矩阵为第一初始概率矩阵，第二概率为第二初始概率矩阵。S403、基于所述全局判决损失初始化所述生成对抗网络中的全局判决器。其中，基于所述全局判决损失对所述全局判决器的参数进行迭代地更新，直至所述全局判决损失收敛。通过S402得到全局判决损失，并基于全局判别损失对全局判决器的参数进行更新，使得全局判决器的全局判别损失减小，并进行多次迭代不断地更新全局判决器的参数，直至全局判别损失收敛。通过最优化方法对全局判决器的参数不断进行更新，以减小全局判决器的全局判决损失。当多次迭代后的全局判决器的全局判决损失的下降值小于设定的第二阈值时，认为全局判决器的全局判决损失收敛，停止更新全局判决器的参数。比如：全局判决器基于重构图像和原始自然图像得到全局判决损失Loss_global_d1，基于最优化处理对全局判决器的参数进行第一次更新，第一次更新后的全局判决器基于重构图像和原始自然图像得到全局判决损失Loss_global_d2，基于最优化处理对全局判决器的参数进行第二次更新，第二次更新后的全局判决器基于重构图像和原始自然图像得到全局判决损失Loss_global_d3，继续对全局判决器的参数进行更新，直到全局判决损失收敛，停止更新全局判决器的参数，完成全局判决器的初始化。最优化处理所采用的最优化方法可包括：有梯度下降法，牛顿法和拟牛顿法等对损失函数进行优化的方法。需要说明的是，本发明实施例中，对最优化处理所采用的最优化方法不进行任何的限制。S404、基于所述像素判决损失初始化所述生成对抗网络中的像素判决器。其中，基于所述像素判决损失对所述像素判决器的参数进行迭代地更新，直至所述像素判决损失收敛。通过S402得到像素判决损失，并基于像素判别损失对像素判决器的参数进行迭代地更新，使得像素判决器的像素判别损失减小，并进行多次迭代不断地更新像素判决器的参数，直至像素判别损失收敛。通过最优化方法对像素判决器的参数不断进行更新，以减小像素判决器的像素判决损失。当多次迭代后的像素判决器的像素判决损失的下降值小于设定的第三阈值时，认为像素判决器的像素判决损失收敛，停止更新像素判决器的参数。比如：像素判决器基于重构图像和原始自然图像得到像素判决损失Loss_pixel_d1，基于最优化处理对像素判决器的参数进行第一次更新，第一次更新后的像素判决器基于重构图像和原始自然图像得到像素判决损失Loss_pixel_d2，基于最优化处理对像素判决器的参数进行第二次更新，第二次更新后的像素判决器基于重构图像和原始自然图像得到像素判决损失Loss_pixel_d3，继续对像素判决器的参数进行更新，直到像素判决损失收敛，停止更新像素判决器的参数，完成像素判决器的初始化。最优化处理所采用的最优化方法可包括：有梯度下降法，牛顿法和拟牛顿法等对损失函数进行优化的方法。需要说明的是，本发明实施例中，对最优化处理所采用的最优化方法不进行任何的限制。在本发明实施例中，像素判决器的结构可为串联的全卷积神经网络等输入与输出图像的大小相同的像素分类模型。本发明实施例对像素判决器所采用的像素分类模型的结构不进行任何的限定。S405、固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，直至满足所述生成对抗网络的收敛条件。基于S401、S403和S404初始化完成网络中的生成器、全局判决器和像素判决器后，对生成器、全局判决器和像素判决器的参数进行更新。其中，采用以下方式迭代地更新所述生成器、所述全局判决器和所述像素判决器的参数，直至满足生成对抗网络的收敛条件包括：固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，直至所述生成器、所述全局判决器和所述像素判决器的参数均完成一次更新。这里，固定生成器、全局判决器和像素判决器中的两个模型的参数，更新剩下的一个模型的参数。直到满足生成对抗网络的收敛条件。生成对抗网络的收敛条件可为迭代次数达到设定的迭代阈值，也可为满足网络收敛。固定生成器、全局判决器和像素判决器中的两个模型的参数，更新其余模型的参数，包括以下三种更新情况：情况一、固定全局判决器的参数和像素判决器的参数，更新生成器的参数。情况二、固定生成器的参数和像素判决器的参数，更新全局生成器的参数。情况三、固定生成器的参数和全局判决器的参数，更新像素成器的参数。在一些实施例中，直至满足所述生成对抗网络的收敛条件包括：迭代地更新所述生成器、所述全局判决器和所述像素判决器的参数，直至所述生成器的感知损失、所述全局判决器的全局判别损失和所述像素判决器的像素判决损失均收敛。这里，对生成器、全局判决器和像素判决器的参数进行迭代地更新，直到满足生成对抗网络的收敛条件。在实际应用中，三种更新情况的执行顺序不进行任何的限定，当生成器参数、全局判决器和像素判决器的参数均完成一次更新时，确定完成了一次迭代。基于最优化方法更新生成器的参数，使得生成器的感知损失减小。基于最优化方法更新全局判决器的参数，使全局判决器的全局判别损失减小。基于最优化方法更新像素判决器的参数，使得像素判别器的像素判别损失减小。其中，不同的模型采用的最优化方法可相同，也可不同。这里，固定全局判决器的参数和像素判决器的参数，基于训练图像的重构图像1得到感知损失1，基于感知损失1更新一次生成器的参数。在更新后的生成器中接收训练图像，得到重构图像2。固定生成器和像素判决器的参数，基于重构图像2和原始自然图像得到全局判决器的全局判决损失2，基于全局判决损失2更新一次全局判决器的参数。固定生成器和全局判决器的参数，基于重构图像2和原始自然图像得到像素判决器的像素判决损失2，基于像素判决损失2更新一次像素判决器的参数。此时，完成一次生成器、全局判决器和像素判决器的参数的更新，如果生成器的感知损失、全局判决器的全局判别损失和像素判决器的像素判决损失中任意一个未收敛，则继续执行上述更新：保持全局判决器的参数和像素判决器的参数，基于训练图像的重构图像2得到感知损失2，基于感知损失2更新一次生成器的参数。在更新后的生成器中接收训练图像，得到重构图像3。固定生成器和像素判决器的参数，基于重构图像3和原始自然图像得到全局判决器的全局判决损失3，基于全局判决损失3更新一次全局判决器的参数。固定生成器和全局判决器的参数，基于重构图像3和原始自然图像得到像素判决器的像素判决损失3，基于像素判决损失3更新一次像素判决器的参数。此时，再次完成一次生成器、全局判决器和像素判决器的参数的更新，如果生成器的感知损失、全局判决器的全局判别损失和像素判决器的像素判决损失中任意一个未收敛，则继续执行上述更新，直至生成器的感知损失、全局判决器的全局判别损失和像素判决器的像素判别损失均收敛。在本发明实施例中，在包括生成器、全局判决器和像素判决器的生成对抗网络中，对生成对抗网路进行训练时，在固定两个模型的参数的情况下，对其余模型的参数进行更新，从而实现全局判决器、像素判决器和生成器之间的对抗，使得生成对抗网络中各模型的参数达到最优化，使得生成器进行超分辨率处理时具有在自动补充图像细节的同时，避免图像的噪点、边缘粗糙等问题的性能。下面，分别对S405中涉及的三种更新情况进行描述。情况一所述固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，包括：固定所述全局判决器和所述像素判决器的参数；在所述生成器中对训练图像进行分辨率提升处理，得到所述重构图像；在所述全局判决器和像素判决器中，分别对所述重构图像进行判决，得到将所述重构图像判决为非自然图像的第一概率、以及将所述重构图像的像素判决为非自然图像的像素的第一概率矩阵；基于所述第一概率确定全局对抗损失，基于所述第一概率矩阵确定像素对抗损失，并基于所述全局对抗损失和所述像素对抗损失确定感知损失；基于所述感知损失对所述生成器的参数进行更新。这里，将全局判决器和像素判决器的参数固定，生成器对训练图像进行卷积，得到分辨率放大r倍的重构图像。全局判决器对重构图像进行判决，得到将重构图像判决为非自然图像的第一概率。像素判决器对重构图像进行判决，得到将重构图像中的各像素判决为非自然图像的像素的第一概率矩阵。通过公式4对第一概率进行计算，得到全局对抗损失Loss_global_gan，Loss_global_gan＝∑-logD1Gxi公式4；其中，D1Gxi为全局判决器D1基于重构图像Gxi得到的第一概率。通过公式5对第一概率矩阵进行计算，得到像素对抗损失Loss_pixel_gan，Loss_pixel_gan＝∑-logsumD2Gxi公式5；其中，D2Gxi为像素判决器D2基于重构图像Gxi得到的第一概率矩阵，sumD2Gxi为对概率矩阵D2Gxi进行矩阵求和，也就是将像素矩阵中的所有元素的值求和。根据全局对抗损失和像素对抗损失计算感知损失，并基于感知损失使用最优化方法对生成器的参数进行更新，使得感知损失减小。感知损失为基于对抗学习的代价函数，可基于全局对抗损失和像素对抗损失对应的权值对全局对抗损失和像素对抗损失进行加权求和得到。在本发明实施例中，全局对抗损失和像素对抗损失对应的权值可相同，也可不同，比如：对应的权值分别为：1e-3、1e-3。情况二所述固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，包括：固定所述生成器和所述像素判决器的参数；在所述生成器中对训练图像进行分辨率提升处理，得到所述重构图像；在所述全局判决器中分别对所述重构图像和所述原始自然图像进行判决，得到将所述重构图像判决为非自然图像的第一概率、以及将所述原始自然图像判决为非自然图像的第二概率；其中，所述训练图像是对所述原始自然图像进行降采样得到；基于所述第一概率和所述第二概率得到全局判别损失，并基于所述全局判决损失对所述全局判决器的参数进行更新。这里，将生成器和像素判决器的参数固定，生成器对训练图像进行卷积，得到分辨率放大r倍的重构图像。全局判决器对重构图像和原始自然图像分别进行判决，得到将重构图像判决为非自然图像的第一概率，和将原始自然图像判决为非自然图像的第二概率。通过公式2对第一概率和第二概率进行计算，得到全局判决器的全局判别损失Loss_global_d，Loss_global_d＝∑-logD1Gxi+∑-log1-D1yi公式2；其中，D1Gxi为全局判决器D1将重构图像Gxi判决为非自然图像的第一概率；D1yi为全局判决器D1将原始自然图像yi判决为非自然图像的第二概率。根据全局判别损失后，使用最优化方法对应的最优化处理对全局判别器的参数进行更新，使得全局判别损失减小。情况三所述固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，包括：固定所述生成器和所述全局判决器的参数；在所述生成器中对训练图像进行分辨率提升处理，得到所述重构图像；在所述像素判决器中，分别对所述重构图像和所述原始自然图像进行判决，得到将所述重构图像的像素判决为非自然图像的像素的第一概率矩阵、以及将所述原始自然图像的像素判决非自然图像的像素的第二概率矩阵；其中，所述训练图像是对所述原始自然图像进行降采样得到；基于所述第一概率矩阵和所述第二概率矩阵得到像素判别损失，并基于所述像素判决损失对所述像素判决器的参数进行更新。这里，将生成器和像素判决器的参数固定，生成器对训练图像进行卷积，得到分辨率放大r倍的重构图像。像素判决器分别对重构图像和原始自然图像进行判决，得到将重构图像的像素判决为非自然图像的像素的第一概率矩阵，和将原始自然图像的像素判决为非自然图像的像素的第二概率矩阵。通过公式3对第一概率矩阵和第二概率矩阵进行计算，得到像素判决器的像素判别损失Loss_pixel_d，Loss_pixel_d＝∑-logsumD2Gxi+∑-logsum1-D2yi公式3。根据像素判别损失后，使用最优化方法对应的最优化处理对像素判决器的参数进行更新，使得像素判别损失减小。在本发明实施例提供的网络训练方法中，固定全局判决器和像素判决器的参数，对生成器的参数进行更新；固定生成器和像素判决器的参数，对全局判决器的参数进行更新；固定生成器和全局判决器的参数，对像素判决器的参数进行更新，从而完成生成对抗网络的一次更新，并进行多次迭代地更新，直到满足生成对抗网络的收敛条件，停止生成器、全局判决器和像素判决器的参数的更新。在本发明实施例中，将训练图像输入生成器，得到生成器输出的重构图像，分别将重构图像输入全局判决器和像素判决器，得到判决器输出的第一概率和像素判决器输出的第一概率矩阵，并通过全局判决器输出的第一概率和像素判决器输出的第一概率矩阵确定感知损失，基于感知损失对生成器的参数进行更新，并通过生成器、全局判决器和像素判决器的参数的不断更新，使得所述生成器输出的重构图像与原始自然图像的差异实现最小化。本发明实施例中，图2所示的生成器201的结构可以采用：SRCNN，快速超分辨率卷积神经网络Super-ResolutionConvolutionalNeuralNetwork，FSRCNN，亚像素卷积网络sub-pixelConvolutionalNeuralNetwork，ESPCN，残差超分辨率网络ResidualSuper-ResolutionNetwork，ResSRNet等超分辨率模型的结构。本发明实施例对生成器所采用的超分辨率模型不进行任何的限定。SRCNN的结构可如图5所示，使用双三次bicubic插值将训练图像放大成原始自然图像的尺寸，接着通过三个卷积层拟合非线性映射，通过对映射结果的重建得到高分辨率的重构图像结果。其中，三个卷积的作用分别为：图像块的提取和特征表示，特征非线性映射和最终的重建。三个卷积层使用的卷积核的大小可分别为9x9、1x1和5x5，前两个卷积层的通道数分别为64和32。FSRCNN可以分为五个部分。第一个部分：通过卷积核大小为5×5的卷积层对训练图像进行特征提取；第二部分：通过积核大小为1×1的卷积层对第一部分的输出进行降维；第三部分：通过串联的卷积核大小为3×3的多个卷积层对第二部分的输出进行非现象映射。第四部分：通过卷积核大小为1×1的卷积层对第三部分的输出进行扩维，相当于收缩的逆过程。第五部分：通过反卷积层对第四部分的输出进行上采样，根据反卷积层的卷积核的步长r将第四部分的输出的尺寸放大r倍。ESPCN的网络结构中包括有亚像素卷积层。ESPCN通过三个卷积层对训练图像依次进行卷积，得到通道数为r2的与训练图像大小一样的特征图，其中，r为方法倍数。再将特征图中每个像素的r2个通道重新排列成一个r×r的区域，对应高分辨率图像中一个r×r大小的子块，从而大小为H×W的特征图被重新排列成rH×rW的高分辨率图像。ResSRNet中包括多个残差块和两个亚像素卷积层。每个残差块中包含两个卷积核大小为3×3的卷积层，卷积层后接批规范化层BatchNormalization,，BN和PReLU作为激活函数。两个亚像素卷积层被用来增大特征尺寸。在一些实施例中，所述对训练图像进行分辨率提升处理，得到所述重构图像，包括：对训练图像进行卷积得到第一特征图，对所述第一特征图进行卷积得到第二特征图；将所述第一特征图和所述第二特征图进行融合，得到第一融合特征图；对所述第一融合特征图进行像素重排，得到重排特征图；对所述重排特征图进行卷积，得到所述重构图像。此时，生成器的结构为ResSRNet，包括多个级联的卷积层，在第一个卷积层和第二个卷积层之间连接有加法层，且第一个卷积层连接有多个残差块，残差块的输出输入至加法层，在最后一个卷积层之前连接亚像素层即像素重排层。第一个卷积层对输入的训练图像进行特征提取，得到携带低频信息的低层分辨率图像，即第一特征图，将第一特征图输入至残差块，得到携带训练图像的低频信息和高频信息之间的残差信息的残差图像，即第二特征图。将第一特征图和第二特征图进行相加，得到第三特征图。通过加法层将第一特征图和所述第二特征图进行融合，得到第一融合特征图。将第一融合特征图输入亚像素层，通过亚像素层增大第一融合特征图的尺寸，并对所述重排特征图进行卷积，得到通道数与训练图像的通道数一致的重构图像。需要说明的是，将第一融合特征图输入亚像素层之前，可通过多个级联的卷积层对第一融合特征图进行特征提取，以得到训练图像更高频次的信息。在本发明实施例中，图2所示的全局判决器202的结构可以采用：ResNet、VGG16、VGG19等分类模型的结构。本发明实施例对全局判决器所采用的分类模型的结构不进行任何的限定。在一些实施例中，所述对所述重构图像进行判决，得到将所述重构图像判决为非自然图像的第一概率，包括：对所述重构图像进行卷积，得到至少两个特征图；将所述至少两个特征图中的第三特征图和第四特征图进行融合，得到第二融合特征图；基于所述第二融合特征图进行判决，得到将所述重构图像判决为非自然图像的第一概率。这里，对所述重构图像进行卷积，得到至少两个特征图，将至少两个特征中的第三特征图和第四特征图的特征进行融合，得到第二融合特征图，其中，第三特征图和第四特征图可为特征的频次不同的特征图，比如：第三特征图为低层卷积层提取的携带低频信息的特征图像；第四特征图为高层卷积层提取的携带高频信息的特征图像。将第二融合特征图输入全连接层，通过全连接层将提取的特征整合，得到卷积层中具有类别区分性的局部信息，并通过全连接层之后接的激活函数对整合的特征进行判别，得到将重构图像判别为非自然图像的第一概率。这里，可对重构图像进行卷积得到第三特征图，对第三特征图进行卷积，得到第四特征图。此时，全局判决器的结构可为ResNet，包括多个级联的卷积层和全连接层，并且，任一高层卷积层的输入包括有前一层卷积层的输出之外，还包括有任一低层卷积层的输出，其中，该低层卷积层与高层卷积层之间包括至少一个卷积层。比如：高层的卷积层8的输入包括前一层的卷积层7的输出和低层的卷积层3的输出。这里，在高层的卷积层与前一个卷积层之间可连接一个相加层，以在将低层的卷积层的输出与高层的卷积层的前一卷积层的输出输入高层的卷积层之前，通过相加层对低层的卷积层的输出和高层的卷积层的前一卷积层的输出进行相加，将相加结果输入到高层的卷积层。在本发明实施例中，图2所示的像素判决器203的结构可为串联的全卷积神经网络等输入与输出图像的大小相同的像素分类模型。本发明实施例对像素判决器所采用的像素分类模型的结构不进行任何的限定。在一些实施例中，所述对所述重构图像进行判决，得到将所述重构图像的像素判决为非自然图像的像素的第一概率矩阵，包括：对所述重构图像进行卷积，得到与所述重构图像的尺寸相同的第五特征图；对所述第五特征图中的每一个像素进行判决，得到将所述第五特征图中各像素判别为非自然图像的像素的第一概率矩阵。此时，像素判决器的结构可为串联的全卷积网络，包括多个级联的卷积层，，最后一个卷积层的通道数和输入的图像的卷积的通道数相同，比如：通道数同时为3。通过多个级联的卷积层对重构图像进行特征提取，得到尺寸大小与重构图像相同的携带重构图像的像素级特征的特征图，即第五特征图，并通过最后一个卷积层后连接的激活函数对第五特征图中的各像素进行判决，得到将第五特征图中的各像素对应的特征判决为非自然图像的像素的概率素，并由各像素的概率构成第一概率矩阵。需要说明的是，在本发明实施例中，像素判决器对提取出的低层的像素级特征识进行分类，低层的像素级特征不需要复杂的网络即可识别出来，因此，像素判决器可不需要很深很复杂的网络结构。在固定全局判决器的参数和像素判决器的参数，对生成器的参数进行更新时，基于所述全局对抗损失和所述像素对抗损失确定感知损失可包括：分别从所述训练图像和所述原始自然图像特征提取；基于均方差损失函数，确定所述训练图像的特征和所述原始自然图像的特征对应的内容损失；对所述内容损失、所述全局对抗损失和所述像素对抗损失进行加权，得到所述感知损失。这里，从训练图像和原始自然图像提取特征时，可通过VGG网络从训练图像和原始自然图像提取高层特征，其中，高层特征为满足特定深度的卷积层输出的特征。内容损失Loss_content的计算公式如公式6所示，Loss_content＝∑VGGGxi-VGGyi2公式6；其中，VGGGxi为利用VGG网络对重构图像Gxi进行特征提取的高层次特征；VGGyi为利用VGG网络对原始自然图像yi进行特征提取的高层次特征。这里，VGG网络可为VGG16、VGG19等高层次特征提取网络，其中，在提取输入图像yi的高层次特征时，VGG网络的网络结构可不包括VGG16、VGG19中最后一层的分类器。此时，基于全局对抗损失、像素对抗损失和内容损失对应的权值对全局对抗损失、像素对抗损失和内容损失进行加权求和。在本发明实施例中，全局对抗损失、像素对抗损失和内容损失对应的权值可相同，也可不同，比如：对应的权值分别为：2e-6、1e-3、1e-3。在图2所示的GAN的基础上，本发明实施例的生成对抗网络的训练方法、方法可应用于图6所示的GAN，如图6所示，包括四个卷积神经网络：生成器201、全局判决器202、像素判决器203和监督器204。其中，监督器204，用于判断生成器生成的非自然图像与原始自然图像在局部区域上是否存在色量、亮度等图像信息的区别。生成器201、全局判决器202、像素判决器203交替地进行训练，从而相互竞争，并获得GAN的最佳参数。基于图6所示的结构，对所述内容损失、所述全局对抗损失和所述像素对抗损失进行加权，得到所述感知损失，包括：在所述生成对抗网络的监督器中，分别对所述重构图像和所述原始自然图像进行平均池化，得到所述重构图像对应的第一降采样图像和所述原始自然图像对应的第二降采样图像；基于所述第一降采样图像和所述第二将采样图像，确定降采样损失；对所述内容损失、所述全局对抗损失、所述像素对抗损失和所述降采样损失进行加权，得到所述感知损失。监督器包括一个均值池化层，均值池化层的卷积核的大小和步长与生成器的分辨率放大倍数相同。比如：生成器的分辨率放大倍数为4时，均值池化层所使用的卷积核为4,4，步长为4。又比如：生成器的分辨率放大倍数为3时，均值池化层所使用的卷积核为3,3，步长为3。在确定第一降采样图像和第二降采样图像后，通过公式7对第一降采样图像和第二降采样图像进行计算，得到监督器的降采样损失Loss_downscale，Loss_downscale＝∑RGxi-Ryi2公式7；其中，RGxi为监督器对重构图像Gxi进行下采样得到的第一降采样图像，Ryi为监督器对原始自然图像yi进行下采样得到的第二降采样图像。需要说明的是，通过降采样损失能够监督生成器生成的重构图像与原训练图像，在对应的局部区域不存在明显的亮度、颜色变化，对确定第一降采样图像和第二降采样图像对应的降采样损失所采用的损失函数不进行任何的限定。基于内容损失、全局对抗损失、像素对抗损失和降采样损失对应的权值对内容损失、全局对抗损失、像素对抗损失和降采样损失进行加权求和，得到感知损失。在本发明实施例中，内容损失、全局对抗损失、像素对抗损失和降采样损失对应的权值可相同，也可不同，比如：对应的权值分别为：2e-6、1e-3、1e-3、1。本发明实施例提供的生成对抗网络的训练方法，通过监督器监督生成器生成的重构图像与训练图像在对应的局部区域是否存在明显的亮度、颜色变化，保证GAN仅提高低分辨率图像的分辨率，而不会改变图像的亮度或颜色。基于图2或图6所示的GAN，本发明实施例提供一种图像处理方法如图7所示，将结合图7示出的步骤进行说明。S701、获取待处理图像。当需要对低分辨率的待处理图像进行超分提升处理时，可发起超分请求，这里，可基于客户端发起超分请求，也可基于服务器发起超分请求。其中，可通过图像处理App触发对待处理图像进行分辨率提升的超分请求。当在客户端触发超分请求后，客户端接收到超分请求，根据部署GAN的位置将直接对请求进行处理，或将超分请求发送至服务器使得服务器对超分请求进行处理。S702、在生成对抗网络的生成器中，对所述待处理图像进行卷积处理，得到所述待处理图像对应的目标图像。其中，所述生成器是基于所述生成对抗网络中的全局判决器和像素判决器经过以下处理得到的：初始化所述生成器、所述全局判决器和所述像素判决器；更新所述生成器、所述全局判决器和所述像素判决器的参数，直至满足所述生成对抗网络的收敛条件。这里，GAN的结构可如图2或图6所示，对超分请求进行处理时，将超分请求对应的待处理图像输入生成器。在生成器中，接收待处理图像，对待处理图像进行卷积处理以提升待处理图像的分辨率，得到目标图像。这里，当待处理图像的大小为H×W时，生成器输出的目标图像的大小为rH×rW，其中，r为生成器的分辨率放大倍数。在本发明实施例中，生成器的结构可以采用：SRCNN，FSRCNN，ESPCN，ResSRNet等超分辨率模型的结构。本发明实施例对生成器所采用的超分辨率模型不进行任何的限定。在一些实施例中，所述对所述待处理图像进行卷积处理，得到所述待处理图像对应的目标图像，包括：对所述待处理图像进行卷积得到第六特征图，对所述第六特征图进行卷积得到第七特征图；将所述第六特征图和所述第七特征图进行融合，得到第三融合特征图；对所述第三融合特征图进行像素重排，得到重排特征图；对所述重排特征图进行卷积，得到所述目标图像。此时，生成器的结构可为ResSRNet，包括多个级联的卷积层，在第一个卷积层和第二个卷积层之间连接有加法层，并与第一个卷积层连接有多个残差块，残差块的输出连接至加法层，在最后一个卷积层之前连接有亚像素层即像素重排层。生成器的训练可具体参见上述生成对抗网络的训练方法，这里不再进行具体赘述。在本发明实施例提供的图像处理方法中，通过上述生成对抗网络的训练方法得到GAN后，基于GAN中的生成器对待处理图像进行分辨率提升处理，得到分辨率放大后的目标图像，在自动补充图像细节的同时，避免目标图像中存在噪点、边缘粗糙等问题。在实际应用中，本发明实施例提供的图像处理方法可应用于视频封面图、视频截图、用户截图、分享截图、头像等的超分辨率场景。以视频封面图为例，对于分辨率过低的封面图，通过本发明实施例提供的图像处理方法，可提高封面图的分辨率，提高用户的视觉体验。需要说明的是，当需要显示存储的待处理图像时，通过本发明实施例提供的图像处理方法对待处理图像进行超分处理即分辨率提升处理，得到目标图像后，显示目标图像。从而在提供用户视觉体验的同时，降低图像存储所需的空间大小。这里，以4倍超分辨率即生成器的分辨率方法倍数为4倍为例，在存储图像的时候，存储低分辨率图像，即压缩存储。当需要解压的时候，对图像进行4倍超分，得到解压后的超分辨率图像。此时，低分辨率图像的面积是超分辨率图像的面积的116，能够有效较小存储或传输图像所需的资源。以解压后的图像为420MB的100张PNG图像2040x1356为例，在超分前，图像的体积仅为30MBPNG图片，508x339，节省了92.86％的体积，可以大大节省数据在传输时使用的流量及带宽。相关技术中，对图像进行超分处理的网络模型可采用固定放大倍数的SRCNN和图8所示的SRGAN。在训练固定放大倍数的SRCNN的过程中，利用已有的高分辨率图像进行人工降采样，得到固定倍数的低分辨率图像，然后把低分辨率图像进行插值，得到cubic插值后的超分辨率图像，通过训练cubic插值后的超分辨率图像到高分辨率图像的映射关系，得到超分辨率模型。例如，当需要SRCNN进行2倍超分辨率时，训练一个处理2倍cubic插值的SRCNN模型，把待超分辨率的图像进行2倍cubic插值，把插值后的结果输入到处理2倍cubic插值的SRCNN模型中，得到超分辨率后的结果。但SRCNN的损失函数是一种平均化的超分映射，因此，通过SRCNN进行超分处理的图像处理方法，无法恢复图像的随机细节。SRGAN的网络结构如图8所示，包括有生成器801和判决器802。生成器801和判决器802为深度神经网络模型。生成器801，可称为G，即超分辨率模型，其输入为低分辨率图像xi，输出为超分辨率图像Gxi。判别器802，可称为D，用于区分输入的图片是否为生成器生成，输入一张高分辨率图像z，输出一个0-1区间的数Dz，Dz用于判断输入图是否为生成器生成的，其中，0表示不是，1表示是。这里，记低分辨率图像为xi，xi对应的高分辨率图像为yi，生成器基于xi生成的超分辨率图像为Gxi。将G输出的超分辨率Gxi或高分辨率图像yi输入D，由D判断得到的图像是由G生成的Gxi，还是数据库中的高分辨率图像yi。当生成器801和判别器802的损失不再有明显下降时，就可以得到可用的超分辨率模型。训练生成器G的损失函数包括以下三种损失函数：a、内容损失Loss_content：内容损失是基于均方误差的损失的损失函数。使用VGG模型除最后一层的网络结构进行特征提取，记特征提取的特征为VGGx，x为输入的图像。内容损失为使用VGG模型除最后一层的网络结构对高分辨率图片yi与超分辨率Gxi进行特征提取后的特征的平方误差，计算公式为公式8，Loss_content＝∑VGGGxi-VGGyi2公式8。b、均方误差损失最小平方损失Loss_mse最小平方损失为生成的超分辨率图像Gxi与高分辨率图像yi的平方误差，计算公式为公式9，Loss_mse＝∑Gxi-yi2公式9。c、对抗损失loss_gan基于训练图像在判别器上的概率定义，尝试让生成器生成的数据，能骗过判别器，计算公式为公式10，Loss_gan＝∑-logDGxi公式10。训练判别器D使用的损失函数loss_d的计算公式为公式11，loss_d＝-∑logDGxi-∑logDyi公式11。训练图8所示的SRGAN的方法包括：S1、使用Loss_mse训练生成器G，初始化生成器的参数，直到Loss_mse收敛。S2、基于生成器G生成的Gxi，以及真实高分辨率图像yi，使用loss_d训练判别器D，初始化判别器D的参数，直到loss_d收敛。S3、固定判别器D的参数，使用Loss_content、Loss_mse、Loss_gan的加权和即感知损失更新一次生成器G的参数。其中，3个损失函数的权重可分别为：1e-6、1、1e-3。S4、固定生成器G的参数，使用loss_d更新一次判别器D的参数，使得判别器D能进一步区分生成器G生成超分辨率图像Gxi与高分辨率图像yi。S5、重复S3、S4，直到Loss_content、Loss_mse、Loss_gan的加权和收敛。但是，在某些场景，通过SRGAN对图像进行超分处理所产生的超分辨率图像如图1所示，在101位置处会存在明显失真的噪点，边缘粗糙，影响图像效果。为了克服基于上述SRCNN无法恢复图像的随机细节以及基于SRGAN所产生的超分辨率图像边缘粗糙的问题，在本发明实施例中，提出一种如图6所示的生成对抗网络，包括：生成器201、全局判决器202、像素判决器203和监督器204。下面，分别对各部分进行描述。生成器201生成器G为卷积神经网络，网络结构可如图9所示，采用全卷积残差神经网络，依次包括4个卷积层：卷积层1至卷积层4，其中，在卷积层1和卷积层2之间包括有17个串联的残差块和加法层，残差块17的输出与卷积层1的输出作为加法器的输入。在卷积层3和卷积层4之间连接有像素重排层。生成器G的工作流程如下：使用一个卷积层1，对输入的图像进行初步的特征提取，得到初步提取的特征。采用串联的残差块1至残差块17，对初步提取的特征不断进行特征提取并补充特征、纹理到前一残差块的输出的上。通过加法层将残差模块17的输出补充到初步提取的特征上。使用串联的卷积层2和卷积层3-像素重排层-卷积层4将加法层的输出的图像的分辨率放大到指定倍数超分辨率，得到超分辨率图像。残差块j的网络结构可如图10所示，包括串联的卷积层j1、卷积层j2和加法层j1。其中，01643,31,1samereLU有卷积层i2643,31,1samereLU有全局判决器202全局判决器D1用于促进生成器G生成的超分辨率图片在全局层面与真实高分辨率图片尽可能相似。全局判决器D1为卷积神经网络，网络结构可如图11所示：包括11个卷积层、加法层和全连接层；加法层位于卷积层11与全连接层之间，用于将卷积层8的输出与卷积层11的输出相加，并输入到之后的全接层中，通过全连接层和全连接层所接的激活函数预测输入图像为真实的高分辨率图像的概率，根据输出的概率判别输入的图像是否为生成器构造。全局判决器D1的网络参数可如表2所示。表2全局判决器D1的网络参数示例像素判决器203像素判决器D2也可称为局部判决器D2，用于促进生成器G生成的超分辨率图像在局部像素层面，每个生成的像素尽可能的接近真实高分辨率图片中的像素，比如，位于边缘上像素要像真实高分辨率图片一样自然柔顺不粗糙，且不存在噪点。局部判决器D2为串联的全卷积神经网络，网络结构如图12所示，为5层串联的全卷积神经网络，包括卷积层1至卷积层5。其中，局部判决器D2的输入与输出的大小相同。局部判决器D2的网络参数可如表3所示。表3局部判决器D2的网络参数示例层类型通道数卷积核大小步长填充激活函数批标准化卷积层1163,31,1samepReLU无卷积层2643,31,1samepReLU有卷积层3643,31,1samepReLU有卷积层4643,31,1samepReLU有卷积层533,31,1samepReLU有监督器204监督器R用于监督生成器G生成的超分辨率图像与原低分辨图像，在对应的局部区域，不存在明显的亮度、颜色变化，保证超分辨率模型仅提高低分辨率图像的分辨率，而不会改变图像的亮度或颜色。监督器R的网络结构可如图13所示，为一个均值池化层，该均值池化层的卷积核大小和步长均为超分放大倍数，以得到与原图像分辨率大小相同的图像，填充均使用same方法。通过监督器R对超分辨率图像进行降采样，得到基于超分辨率图像降采样的低分辨率图像。基于图6所示的生成对抗网络，本发明实施例提供一种生成对抗网络的训练方法，其中，涉及的损失函数可包括以下七个损失函数：a、内容损失：Loss_content＝∑VGGGxi-VGGyi2b、降采样损失：Loss_downscale＝∑RGxi-Ryi2c、全局对抗损失：Loss_global_gan＝∑-logD1Gxid、像素对抗损失：Loss_pixel_gan＝∑-logsumD2Gxie、最小平方损失：Loss_mse＝∑Gxi-yi2f、全局判别损失：Loss_global_d＝∑-logD1Gxi+∑-log1-D1yig、像素判别损失Loss_pixel_d＝∑-logsumD2Gxi+∑-logsum1-D2yi根据上述七个损失函数的生成对抗网络的训练方法如图14所示，包括：S1401、通过最小平方损失初始化生成器G。使用最小平方损失Loss_mse训练生成器G，初始化生成器G的参数。使用最优化方法，不断更新生成器G的参数，以减少Loss_mse的值。对生成器G的参数进行迭代地更新，计算两次连续的Loss_mse的差值，当两次连续的Loss_mse的差值小于设定的阈值α时，确定Loss_mse下降值低于设定的阈值α，停止更新生成器G的参数，得到初始化后的生成器G。S1402、通过全局判别损失初始化全局判决器D1。初始化全局判别器D1，并通过全局判别损失Loss_global_d，不断更新全局判决器D1的参数，以减小Loss_global_d的值，使得D1能够尽可能的区分G构造的超分辨率图像与真实高分辨率图像。对全局判决器D1的参数进行迭代地更新，计算两次连续的Loss_global_d的差值，当两次连续的Loss_global_d的差值小于设定的阈值β时，确定Loss_global_d下降值低于设定阈值β，停止更新全局判决器D1的参数，得到初始化后的全局判决器D1。S1403、通过像素判别损失初始化局部判决器D2。初始化局部判别器D2，并通过像素判别损失Loss_pixel_d，不断更新局部判决器D2的参数，以减小Loss_pixel_d的值，使得局部判别器D2能够尽可能的区分生成器G构造的超分辨率像素与真实高分辨率像素，即输入超分辨率图像，局部判别器D2输出与超分辨图像尺寸相同的全1的矩阵像素概率矩阵；当输入真实高分辨率图像时，局部判别器D2输出与高分辨率图像尺寸相同的全零的矩阵。对局部判决器D2的参数进行迭代地更新，计算两次连续的Loss_pixel_d的差值，当两次连续的Loss_pixel_d的差值小于设定的阈值γ时，确定Loss_pixel_d下降值低于设定阈值γ，停止更新局部判决器D2的参数，得到初始化后的局部判决器D2。S1404、固定全局判决器D1、局部判决器D2的参数，根据内容损失、降采样损失、全局对抗损失和像素对抗损失得到感知损失，通过感知损失优化生成器G。固定全局判决器D1、局部判决器D2的参数，使用最优化方法更新一次生成器G的参数，使得内容损失Loss_content、降采样损失Loss_downscale、全局对抗损失Loss_global_gan、像素对抗损失Loss_pixel_gan的加权和即感知损失减小。其中，对Loss_content、Loss_downscale、Loss_global_gan、Loss_pixel_gan进行加权时，对应的权重可分别为：2e-6、1、1e-3、1e-3。在实际应用中，对Loss_content、Loss_downscale、Loss_global_gan、Loss_pixel_gan进行加权确定感知损失时，对应的权重的大小不进行任何的限定，可根据实际需求进行设置。S1405、固定生成器G、局部判决器D2的参数，通过全局判别损失优化全局判决器D1。固定生成器G、局部判决器D2的参数，使用最优化方法更新一次全局判决器D1的参数，使得Loss_global_d减小。S1406、固定生成器G、全局判决器D1的参数，通过像素判别损失优化局部判决器D2。固定生成器G、全局判决器D1的参数，使用最优化方法更新一次局部判决器D2的参数，使得Loss_pixel_d减小。S1407、判断感知损失的下降值是否小于阈值ε，全局判别损失的下降值是否小于阈值β，且像素判别损失的下降值是否小于阈值γ？如果感知损失的下降值小于阈值ε，全局判别损失的下降值小于阈值β，且像素判别损失的下降值是否小于阈值，即感知损失、全局判别损失和像素损失均收敛，则流程结束，得到生成器G。如果不满足感知损失的下降值小于阈值ε，全局判别损失的下降值小于阈值β且像素判别损失的下降值小于阈值γ，则执行S24，直到感知损失的下降值小于阈值ε，全局判别损失的下降值小于阈值β，且像素判别损失的下降值小于阈值γ，即感知损失、全局判别损失和像素损失均收敛，则流程结束，得到生成器G。在实际应用中，阈值α、阈值β、阈值γ和阈值ε的值可根据实际需求进行设置。需要说明的是，本发明实施例中生成器的网络结构不限于图9所示的结构，全局判决器D1的结构不限于图11所示的结构，局部判决器D2的结构不限于图12所示的结构，可根据实际需求进行设置。通过图14所示的生成对抗网络的训练方法对图6所示的GAN进行训练，并通过训练的GAN生成的超分辨率图像，相对于插值方法、SRCNN和SRGAN所生成的超分辨率图像相比，如表4所示，具有能够补充高频细节、噪声微弱、边缘光滑等优势。其中，在表4中，方法1为插值方法，方法2为基于SRCNN的图像处理方法，方法3为基于SRGAN的图像处理方法，方法4为本发明实施例提供的基于图6所示的GAN的图像处理方法。表4基于低分辨率图像利用多种方法生成的超分辨率图像的指标对比对图15中的A图像进行处理时，图15中的B图像为通过本发明的网络训练方法生成的生成器得到的超分辨率图像，图15中的C图像为通过图8所示的SRGAN得到的超分辨率图像。通过图15中1501位置处和1502位置处画质的比较可知，图15中的B图像的画面更为干净、且无锯齿状噪点。对图16中的A图像进行处理时，图16中的B图像为通过本发明的网络训练方法生成的生成器得到的超分辨率图像，图16中的C图像为通过图8所示的SRGAN得到的超分辨率图像。通过图16中1601位置处和1602位置处画质的比较可知，图16中的B图像的无锯齿状噪点，边缘更加柔顺。可见，本发明实施例提供的生成对抗网络的训练方法得到的超分图像抑制了图8所示的SRGAN所存在的噪声，避免了边缘粗糙的问题，减少锯齿状噪点、边缘更加柔顺，并保证超分后对应局部区域不会有明显的色调、亮度变化，提升了超分率算法的画质，提高用户的画质体验。本发明实施例还提供一种生成对抗网络的训练装置，如图17所示，所述装置包括：初始生成单元1701，用于初始化生成对抗网络中的生成器；损失确定单元1702，用于基于所述生成器得到全局判决损失和像素判决损失；初始全局单元1703，用于基于所述全局判决损失初始化所述生成对抗网络中的全局判决器；初始像素单元1704，用于基于所述像素判决损失，初始化所述生成对抗网络中的像素判决器；更新单元1705，用于固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，直至满足所述生成对抗网络的收敛条件。本发明实施例还提供一种图像处理装置，如图18所示，所述装置包括：获取单元1801，用于获取待处理图像；超分单元1802，用于在生成对抗网络的生成器中，对所述待处理图像进行卷积处理，得到所述待处理图像对应的目标图像；所述生成器是基于所述生成对抗网络中的全局判决器和像素判决器经过以下处理得到的：初始化所述生成器、所述全局判决器和所述像素判决器；更新所述生成器、所述全局判决器和所述像素判决器的参数，直至满足所述生成对抗网络的收敛条件。本发明实施例还提供一种生成对抗网络的训练装置，所述装置包括：存储器、通信总线和处理器，其中：所述存储器，用于存储计算机程序；所述通信总线，用于实现处理器和存储器之间的连接通信；所述处理器，用于执行存储器中存储的计算机程序时，实现上述生成对抗网络的训练方法的步骤。本发明实施例还提供一种图像处理装置，所述装置包括：存储器、通信总线和处理器，其中：所述存储器，用于存储计算机程序；所述通信总线，用于实现处理器和存储器之间的连接通信；所述处理器，用于执行存储器中存储的计算机程序时，实现上述图像处理方法的步骤。图19为本发明实施例生成对抗网络的训练装置或图像处理装置的硬件组成结构示意图，如图19所示，所述装置1900可包括：一个处理器1901、至少一个通信总线1902、至少一个外部通信接口1903和存储器1904。其中，通信总线1902配置为实现这些组件之间的连接通信。外部通信接口1903可以包括标准的有线接口和无线接口。在实际应用中，生成对抗网络的训练装置与图像处理装置可为同一物理实体，也可不同的物理实体。本发明实施例还提供一种存储介质，即计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时，实现上述生成对抗网络的训练方法。本发明实施例还提供一种存储介质，即计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时，实现上述图像处理方法。以上装置实施例和计算机可读存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明实施例的装置实施例和计算机可读存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

权利要求：1.一种生成对抗网络的训练方法，其特征在于，所述方法包括：初始化生成对抗网络中的生成器；基于所述生成器得到全局判决损失和像素判决损失；基于所述全局判决损失初始化所述生成对抗网络中的全局判决器；基于所述像素判决损失初始化所述生成对抗网络中的像素判决器；固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，直至满足所述生成对抗网络的收敛条件。2.根据权利要求1所述的方法，其特征在于，所述基于所述生成器得到全局判决损失和像素判决损失，包括：基于原始自然图像与所述生成器输出的重构图像之间的全局差异，确定所述全局判决损失；基于所述原始自然图像与所述生成器输出的重构图像之间的像素差异，确定所述像素判决损失。3.根据权利要求2所述的方法，其特征在于，所述基于原始自然图像与所述生成器输出的重构图像之间的全局差异，确定所述全局判决损失，包括：在所述生成器中对训练图像进行分辨率提升处理，得到所述重构图像；在所述全局判决器中对所述重构图像和所述原始自然图像进行判决，得到将所述重构图像判决为非自然图像的第一初始概率、以及将所述原始自然图像判决为非自然图像的第二初始概率；其中，所述训练图像是对所述原始自然图像进行降采样得到；基于所述第一初始概率和所述第二初始概率得到所述全局判别损失。4.根据权利要求2所述的方法，其特征在于，所述基于所述原始自然图像与所述生成器输出的重构图像之间的像素差异，确定所述像素判决损失，包括：在所述生成器中对训练图像进行分辨率提升处理，得到所述重构图像；在所述像素判决器中对所述重构图像和所述原始自然图像进行判决，得到将所述重构图像的像素判决为非自然图像的像素的第一初始概率矩阵、以及将所述原始自然图像的像素判决为非自然图像的像素的第二初始概率矩阵；其中，所述训练图像是对所述原始自然图像进行降采样得到；基于所述第一初始概率矩阵和所述第二初始概率矩阵得到所述像素判别损失。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，包括：固定所述全局判决器和所述像素判决器的参数；在所述生成器中对训练图像进行分辨率提升处理，得到所述重构图像；在所述全局判决器和像素判决器中，分别对所述重构图像进行判决，得到将所述重构图像判决为非自然图像的第一概率、以及将所述重构图像的像素判决为非自然图像的像素的第一概率矩阵；基于所述第一概率确定全局对抗损失，基于所述第一概率矩阵确定像素对抗损失，并基于所述全局对抗损失和所述像素对抗损失确定感知损失；基于所述感知损失对所述生成器的参数进行更新。6.根据权利要求1至4中任一项所述的方法，其特征在于，所述固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，包括：固定所述生成器和所述像素判决器的参数；在所述生成器中对训练图像进行分辨率提升处理，得到所述重构图像；在所述全局判决器中分别对所述重构图像和所述原始自然图像进行判决，得到将所述重构图像判决为非自然图像的第一概率、以及将所述原始自然图像判决为非自然图像的第二概率；其中，所述训练图像是对所述原始自然图像进行降采样得到；基于所述第一概率和所述第二概率得到全局判别损失，并基于所述全局判决损失对所述全局判决器的参数进行更新。7.根据权利要求1至4中任一项所述的方法，其特征在于，所述固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，包括：固定所述生成器和所述全局判决器的参数；在所述生成器中对训练图像进行分辨率提升处理，得到所述重构图像；在所述像素判决器中，分别对所述重构图像和所述原始自然图像进行判决，得到将所述重构图像的像素判决为非自然图像的像素的第一概率矩阵、以及将所述原始自然图像的像素判决非自然图像的像素的第二概率矩阵；其中，所述训练图像是对所述原始自然图像进行降采样得到；基于所述第一概率矩阵和所述第二概率矩阵得到像素判别损失，并基于所述像素判决损失对所述像素判决器的参数进行更新。8.根据权利要求5所述的方法，其特征在于，所述基于所述全局对抗损失和所述像素对抗损失确定感知损失，包括：分别从所述训练图像和所述原始自然图像提取特征；基于均方差损失函数，确定所述训练图像的特征和所述原始自然图像的特征对应的内容损失；对所述内容损失、所述全局对抗损失和所述像素对抗损失进行加权，得到所述感知损失。9.根据权利要求8述的方法，其特征在于，所述对所述内容损失、所述全局对抗损失和所述像素对抗损失进行加权，得到所述感知损失，包括：在所述生成对抗网络的监督器中，分别对所述重构图像和所述原始自然图像进行平均池化，得到所述重构图像对应的第一降采样图像和所述原始自然图像对应的第二降采样图像；基于所述第一降采样图像和所述第二将采样图像，确定降采样损失；对所述内容损失、所述全局对抗损失、所述像素对抗损失和所述降采样损失进行加权，得到所述感知损失。10.一种图像处理方法，其特征在于，所述方法包括：获取待处理图像；在生成对抗网络的生成器中，对所述待处理图像进行卷积处理，得到所述待处理图像对应的目标图像；所述生成器是基于所述生成对抗网络中的全局判决器和像素判决器经过以下处理得到的：初始化所述生成器、所述全局判决器和所述像素判决器；更新所述生成器、所述全局判决器和所述像素判决器的参数，直至满足所述生成对抗网络的收敛条件。11.一种生成对抗网络的训练装置，其特征在于，所述装置包括：初始生成单元，用于初始化生成对抗网络中的生成器；损失确定单元，用于基于所述生成器得到全局判决损失和像素判决损失；初始全局单元，用于基于所述全局判决损失初始化所述生成对抗网络中的全局判决器；初始像素单元，用于基于所述像素判决损失初始化所述生成对抗网络中的像素判决器；更新单元，用于固定所述生成器、所述全局判决器和所述像素判决器中任意两个模型的参数，并更新其余模型的参数，直至满足所述生成对抗网络的收敛条件。12.一种图像处理装置，其特征在于，所述装置包括：获取单元，用于获取待处理图像；超分单元，用于在生成对抗网络的生成器中，对所述待处理图像进行卷积处理，得到所述待处理图像对应的目标图像；其中，所述生成器是基于所述生成对抗网络中的全局判决器和像素判决器经过以下处理得到的：初始化所述生成器、所述全局判决器和所述像素判决器；更新所述生成器、所述全局判决器和所述像素判决器的参数，直至满足所述生成对抗网络的收敛条件。13.一种生成对抗网络的训练装置，其特征在于，所述装置包括：存储器、通信总线和处理器，其中：所述存储器，用于存储计算机程序；所述通信总线，用于实现处理器和存储器之间的连接通信；所述处理器，用于执行存储器中存储的计算机程序时，实现权利要求1至9任一项中所述的生成对抗网络的训练方法的步骤。14.一种图像处理装置，其特征在于，所述装置包括：存储器、通信总线和处理器，其中：所述存储器，用于存储计算机程序；所述通信总线，用于实现处理器和存储器之间的连接通信；所述处理器，用于执行存储器中存储的计算机程序时，实现权利要求10所述的图像处理方法的步骤。15.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至9任一项中所述的生成对抗网络的训练方法，或权利要求10所述的图像处理方法。

百度查询： 腾讯科技(深圳)有限公司 生成对抗网络的训练方法、图像处理方法、装置和存储介质