买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东华大学

摘要：本发明涉及一种基于全局流服装变换的虚拟试衣方法，包括以下步骤：输入待试穿服装与用户图像至服装变形模块，用于将服装扭曲变形至人体姿态；将变形后的服装与用户图像输入至服装虚拟试穿模块，用于生成最终的用户试穿效果图。服装变形模块基于全局外观流与局部注意力，用于将待试穿的服装扭曲变形至与人体姿态一致；服装虚拟试穿模块基于U‑Net网络，用于将变形后的服装在用户身上试穿。解决了虚拟试穿技术对硬件要求高且无法满足服装大幅度变形的问题，实现了以用户为中心的服装虚拟试穿的全流程设计，基于全局流的方法感知全局信息，增强服装变形结果的真实感极大地改善了用户试穿体验，大大提高了虚拟试穿平台实际应用的效率。

主权项：1.一种基于全局流服装变换的虚拟试衣方法，其特征在于，包括以下步骤：步骤1：输入待试穿服装与用户图像至服装变形模块，用于将服装扭曲变形至人体姿态；步骤2：将变形后的服装与用户图像输入至服装虚拟试穿模块，用于生成最终的用户试穿效果图；其中，服装变形模块基于全局外观流与局部注意力，用于将待试穿的服装扭曲变形至与人体姿态一致；服装虚拟试穿模块基于U-Net网络，用于将变形后的服装在用户身上试穿；具体步骤如下：步骤1.1：采集待试穿服装图像信息及其掩码与语义信息；采集用户图像及其人体姿态关键点、人体姿态解析图及密集姿态估计；步骤1.2：将采集得到的待试穿服装及用户图像信息输入到金字塔特征提取网络得到多尺度信息；步骤1.2中金字塔特征提取网络为：将包含服装信息输入至一个金字塔特征提取网络与包含人体姿态特征信息再输入至另一个金字塔特征提取网络，分别提取服装与人体姿态的特征信息；金字塔特征提取网络中的各层卷积网络的卷积核大小不同，是为了提取服装与人体姿态的多尺度特征信息；提取得到的服装与人体姿态的特征信息为上一层尺寸大小的12，其中基于全局流的服装变形试穿方法中金字塔网络的层数设置为4层；步骤1.3：将提取得到的服装与用户的多尺度信息，逐层输入至局部增强信息模块与全局分条信息匹配模块生成多尺度外观流；其中，将金字塔特征信息输入至全局增强信息模块与全局分条信息匹配模块回归得到的外观流，上采样至与下一层的服装特征图一致用于变形该服装特征图，之后将变形后的服装特征图与其同一层的人体姿态特征信息进行相关性的计算；步骤1.3中局部增强信息模块为：将金字塔提取的多尺度信息首先利用卷积核为1×1大小的卷积操作，分别激活服装与人体姿态的水平与垂直方向的特征信息；对于激活后的特征信息，通过自注意力机制建立邻近区域之间的关联，即增强了待匹配特征邻近区域的弱语义特征信息，为之后进行服装与人体姿态多尺度特征信息全局分条信息匹配精度提高做出了巨大贡献；其中，特征信息输出局部增强信息模块后与输入前没有发生变化；从局部增强信息模块输出后的人体姿态多尺度信息输入至全局分条信息匹配模块；步骤1.3中全局分条信息匹配模块过程为：首先根据输入特征图的尺寸建立一个长度与输入特征图一致，宽为1水平方向的池化窗口，其次建立一个宽度与特征图一致，长度为1垂直方向的池化窗口；对于局部增强特征信息的人体姿态水平与垂直方向的特征图信息，分别输入到水平与垂直方向的池化窗口，分别得到关注于水平与垂直方向全局特征信息的人体姿态特征图；在水平方向，将服装通过局部增强信息模块的水平方向特征图与关注于水平方向的全局信息的人体姿态特征图计算全局匹配度；在垂直方向，同理可得垂直方向的全局匹配度；将水平方向的全局匹配度和垂直方向的全局匹配度叠加，之后再通过多层卷积操作回归得到全局外观流；步骤1.4：生成得到的最终服装外观流扭曲变形服装，得到最终扭曲变形后的服装；步骤1.4中为保证得到最终扭曲变形后的服装具有真实感，设计了如下的损失函数：使用一阶平滑损失保证变形后的服装与与之相匹配的服装标签差异最小化，公式如下：L1＝||Sp-Slabel||1式中，L1是服装变形阶段的一阶平滑损失，Sp是变形后的服装，Slabel是服装标签；使用感知损失，增强生成的服装变形结果的真实感，公式如下： 其中Lper是服装变形阶段的感知损失，φm是VGG19表示预训练VGG19网络中第m层的特征图；变形服装的外观流具有很大的自由度，当相邻像素之间的外观流存在显著差异时，可能会产生不利影响；这种差异可能会导致变形服装出现不真实的伪影，通过使用平滑损失对最终外观流施加正则化约束来解决这一难题： 其中，Lsmt是服装变形阶段的服装外观流平滑损失，Fs_i是外观流，i代表是迭代计算外观流的第i次，i＝1，2，3，4；服装变形阶段的学习目标可以表述为:Lwarp_loss＝λ1·L1+λper·Lper+λsmt·Lsmt其中，Lwarp_loss是服装变形阶段的总损失，λ1、λper、λsmt分别对应一阶平滑损失、感知损失及平滑损失的超参数；步骤2中基于U-Net的服装虚拟试穿过程为：步骤2.1：将变形后的服装及包含人体姿态特征的信息输入至虚拟试穿模块；步骤2.2：虚拟试穿模块采用ResUNet网络确保虚拟试穿结果的真实性，ResUNet主框架是由上采样层和下采样层组成，对输入的图片编码解码，此外在编码器及解码器的每个模块中包含残差连接从而有效地缓解深度学习网络中的梯度小的问题，这样可以充分地提取低频信息，此外这样还能使上下文信息融合，从而有效缓解语义信息缺失问题，通过ResUNet网络不断地编码解码得到最终的用户试穿服装的结果；步骤2.2中为实现最终的用户试穿服装的结果即用户虚拟试穿图像具有真实感，设计了如下的损失函数：使用一阶平滑损失保证生成用户试穿图像与与之相匹配的用户试穿结果标签值差异最小化，公式如下：L′1＝||Ps-Plabel||1其中，L′1代表服装试穿阶段的一阶平滑损失，Ps是用户试穿变形后服装的图片，Plabel是用户试穿的标签图片；使用感知损失，增强生成的用户试穿结果的真实感，公式如下： 其中，Lp′er是服装试穿阶段的感知损失，φm是VGG19表示预训练VGG19网络中第m层的特征图；服装试穿阶段的学习目标可以表述为:Ltry_on＝λ′1·L1′+λ′per·L′per其中，Ltry_on是服装试穿阶段的总损失，λ′1、λ′per分别对应一阶平滑损失、感知损失的超参数。

全文数据：

权利要求：

百度查询： 东华大学 一种基于全局流服装变换的虚拟试衣方法