买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东华大学

摘要：本发明公开了一种基于扩散模型的虚拟试穿图像合成方法，有效解决了面对人体较大的姿势变化时，产生的试衣效果会出现错位、缺失或混合的服装的问题以及纹理挤压等细节不一致的问题。当面对人体较大的姿势变化时，扩散模型的强大的生成能力能够生成出合理的试衣结果，解决了服装错位、缺失或混合的问题。而服装的姿势信息确定了生成的服装与原本服装信息的对应关系，有利于保持原本服装的细节信息，解决了纹理挤压等细节不一致的问题。

主权项：1.一种基于扩散模型的虚拟试穿图像合成方法，其特征在于，所述方法采用服装姿势生成模型模块和虚拟试衣模型模块实现虚拟试穿图像合成；所述服装姿势生成模型模块在服装姿势生成网络模型训练阶段包括以下步骤：提取人体图片的骨架关节点并可视化得到人体姿势骨架图片；根据目标人体图片，提取人体区域信息和服装区域信息，从而生成扭曲的服装图片和掩码掉服装区域的模特图片；将人体姿势骨架图片通过VAE编码器编码为第一潜在变量，对第一潜在变量添加通过确定性高斯过程随机采样正态分布不同程度的噪声，得到人体姿势骨架图片的第一加噪潜在变量；将扭曲的服装图片通过VAE编码器编码为第二潜在变量，与第一加噪潜在变量的拷贝向量相加，通过与扩散模型去噪U-Net下采样部分相同结构的Controlnet网络，得到的不同网络层的输出与扩散模型去噪U-Net对应的跳跃连接对应层的部分逐像素相加，得到待优化服装姿势生成网络模型；通过MSE损失对待优化服装姿势生成网络模型进行训练，得到服装姿势生成网络模型；所述服装姿势生成模型模块在服装姿势图片生成阶段包括以下步骤：随机采样高斯噪声潜在变量作为服装姿势生成网络模型的输入，取店内服装图片作为服装姿势生成网络模型的条件信息，通过反复对高斯噪声潜在变量去噪然后解码生成最终的服装姿势图片；所述虚拟试衣模型模块在服装扭曲模型训练阶段包括以下步骤：将服装姿势图片和服装图片通过CLIP提取特征并注入服装扭曲扩散模型的去噪U-Net网络；将扭曲的服装图片将作为服装扭曲模型的输入，对第二潜在变量添加通过确定性高斯过程随机采样正态分布不同程度的噪声，得到扭曲的服装图片的第二加噪潜在变量；将第一潜在变量与第二加噪潜在变量的拷贝向量相加，通过与扩散模型去噪U-Net下采样部分相同结构的Controlnet网络，得到的不同网络层的输出与扩散模型去噪U-Net对应的跳跃连接对应层的部分逐像素相加，得到待优化服装扭曲模型；通过MSE损失对待优化服装扭曲模型进行训练，得到服装扭曲模型；所述虚拟试衣模型模块在试衣合成模型训练阶段包括以下步骤：将服装姿势图片和服装图片通过CLIP提取特征并注入试衣合成扩散模型的去噪U-Net网络；将人体图片通过VAE编码器编码为第三潜在变量，对第三潜在变量添加通过确定性高斯过程随机采样正态分布不同程度的噪声，得到人体图片的第三加噪潜在变量；将人体姿势骨架图片通过VAE编码器编码为第四潜在变量，与第三加噪潜在变量的拷贝向量相加，通过与扩散模型去噪U-Net下采样部分相同结构的Controlnet网络，得到的不同网络层的输出与扩散模型去噪U-Net对应的跳跃连接对应层的部分逐像素相加；将掩码掉服装区域的模特图片通过VAE编码器编码为第五潜在变量，与第三加噪潜在变量的拷贝向量相加，通过与扩散模型去噪U-Net下采样部分相同结构的Controlnet网络，得到的不同网络层的输出与扩散模型去噪U-Net对应的跳跃连接对应层的部分逐像素相加，得到待优化试衣合成模型；结合服装扭曲模型作为试衣合成模型的初始化，使用MSE损失和感知损失对待优化试衣合成模型进行优化，得到试衣合成模型；将所给定的一张店内的服装图片输入服装姿势生成网络模型，获得服装姿势图片；将服装姿势图片和服装图片送入虚拟试衣模型模块的CLIP端提取特征并注入试衣合成模型；将一个服从正态分布的随机噪声潜在变量输入试衣合成模型；人体姿势骨架图片通过Controlnet网络加入试衣合成模型；掩码掉服装区域的模特图片通过Controlnet网络加入扩散模型；在加入所有条件之后，试衣合成模型预测出一个去噪的更少噪声的潜在变量，将该潜在变量反馈回试衣合成模型，使得试衣合成模型对输入的噪声潜在变量不断进行去噪得到没有噪声的潜在变量，经过VAE解码器解码得到最终的虚拟试衣结果。

全文数据：

权利要求：

百度查询： 东华大学 一种基于扩散模型的虚拟试穿图像合成方法