恭喜浙江工商大学张荣获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浙江工商大学申请的专利基于扩散模型的虚拟模特服装展示图像智能生成方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119131212B 。
龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411568331.5,技术领域涉及:G06T13/40;该发明授权基于扩散模型的虚拟模特服装展示图像智能生成方法及装置是由张荣;王静楠;王勋;左智文;董建锋;金小刚设计研发完成,并于2024-11-05向国家知识产权局提交的专利申请。
本基于扩散模型的虚拟模特服装展示图像智能生成方法及装置在说明书摘要公布了:本发明公开了一种基于扩散模型的虚拟模特服装展示图像智能生成方法及装置。使用数据集中的原有数据与服装分割模型处理得到目标服装图像和姿态图像,并训练得到服装、姿态的重建变分自编码器以及自适应姿态生成模型M1;对数据集内的原有数据进行空间拼接构建得到组合数据;用组合数据进行条件扩散模型的微调训练,从特征融合、引导生成进行服装增强,得到服装增强的展示图像生成模型M2;输入素体人台模特或任意人物身穿目标服装的图像,通过M1和M2得到初步的服装展示图像,使用人脸修复模型优化得到最终服装展示图像。本发明从训练模式、服装特征保留及生成结果方面实现创新,能够实现操作便捷和高质量的虚拟模特服装展示图像生成。
本发明授权基于扩散模型的虚拟模特服装展示图像智能生成方法及装置在权利要求书中公布了:1.一种基于扩散模型的虚拟模特服装展示图像智能生成方法,其特征在于:该方法包括以下步骤:1获取{服装图像,模特服装展示图像}的成对数据集以及只包含模特服装展示图像的非成对数据集,并分割出模特服装展示图像的目标服装图像;同时进行姿态估计和文本描述提取,得到{文本描述,目标服装图像,姿态图像}的数据对;2基于步骤1中的数据对训练条件扩散模型,得到自适应姿态生成模型M1;3将模特服装展示图像中除服装外的区域划分为待生成区域,得到待生成图像和待生成掩码,将服装图像分别与待生成图像、姿态图像和模特服装展示图像在空间维度进行拼接,将待生成掩码与初始化为0的同样大小的掩码拼接;4基于拼接后的图像及掩码训练条件扩散模型,得到服装增强的展示图像生成模型M2,用于从特征融合、引导生成两部分进行服装细节增强;特征融合方法包括:使用特征空间连接,将数据D2与对应的服装图像或掩码在空间维度上concat得到数据D3后,送入编码器得到各个潜在表示,将所有潜在表示concat后作为U-Net网络的输入;使用注意力机制,将通过大规模文本图像预训练模型CLIP编码得到的文本特征通过交叉注意力的方式注入模型以控制生成图像的全局特征,同时将服装作为额外的条件,在空间维度与其他条件结合,通过去噪U-Net中的自注意力机制,在图像的任意两个位置之间建立直接联系,捕捉长距离的依赖关系,优化目标服装与人体部分的交汇区域,进一步将提取的服装纹理细节与人物图像融合;引导生成方法包括:使用额外的无分类器引导CFG技术进行生成图像的条件引导,CFG通过计算条件生成与非条件生成预测结果的残差,并使用条件引导系数放大条件在生成过程中的影响,以此达到条件控制增强的效果,使用联合文本条件及服装条件的CFG来提高最终图像的生成效果,具体公式如下:∈θzt,ct,cc=∈θzt+Sc*∈θzt,cc-∈θzt+St*∈θz,ct,cc-∈θzt,cc其中,∈θzt,ct表示文本条件ct引导预测的结果,∈θzt表示无文本条件引导预测的结果,St为文本条件引导系数,∈θzt,ct,cc表示文本条件ct与服装条件cc联合引导的预测结果,Sc为服装条件引导系数;5获取需要进行虚拟模特服装展示的图像,分割出目标服装图像;输入到模型M1中,得到适应服装的生成姿态图像,将目标服装图像、生成姿态图像共同输入到模型M2中,得到初步的虚拟模特服装展示图像,并基于人脸修复模型得到优化后的最终虚拟模特服装展示图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江工商大学,其通讯地址为:310012 浙江省杭州市西湖区教工路149号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。