买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：之江实验室

摘要：本发明公开了一种基于生成对抗网络的数据增强方法。通过生成对抗网络的特征提取，将车辆图像的深层特征渲染到一个既定的三维立体结构上，完成一幅二维图像到三维立体结构的重构，再进行三维单眼投影，获得其在所需视角的二维图像，完成车辆不同视角图像的生成。本发明在前沿作者的noise‑to‑image的基础上进行了修正尝试，使其完成了从noise‑to‑image到image‑to‑image的转换，在此之后，可以做到定向修改一种特定属性车辆视角等，生成新视角的图像。

主权项：1.一种基于生成对抗网络的数据增强方法，其特征在于，包括：首先提取图像特征，编码至特征空间；然后生成3D骨架，将提取的图像特征融合进3D骨架，渲染生成3D框架；接着进行3D框架的视角回归；再利用三维仿射变换，生成新视角的3D框架；进一步将3D框架降维投影成2D图像；最后通过图像修复模型微调得到最终生成的新视角图像；具体包括以下步骤：1给定待处理的原始图像xori，经过一个卷积层构成的特征提取模块，获取其高阶特征attrori：attrori＝Encoderxori2建立3D骨架，其网络层由三维卷积构成，输入为一个可学习的3维张量input，旨在从input里重建出一个正向的3D骨架；把步骤1提取的高阶特征attrori融合渲染进3D骨架，形成一个输入图像的3D框架x3D-ori：x3D-ori＝3Dmodlelattrori3把3D框架x3D-ori输入视角回归模型，进行视角回归任务得到θ1：θ1＝viewregressionx3D-ori由于期望最初生成的视角为正向视角0，90，90，给出一个损失罚项lossoriview： 4选定目标新视角θtarget，进行三维仿射变换，生成新视角3D框架x3D-new：x3D-new＝Affinex3D-ori；θtarget同时输入x3D-new到回归模型进行视角回归得到θ2：θ2＝viewregressionx3D-new给出新视角的损失罚项lossnewview： 5进行新视角的3D转2D投影操作，生成图像xnew：xnew＝Projectionx3D-new再接入一个图像修复模型进行生成图像微调，最终生成新视角图像xnewview：xnewview＝Repairmodexnew6为了保证其他属性的不变性，把图像xnewview再次输入到步骤1的特征提取模块中提取高阶特征αttrnewview：attrnewview＝Encoderxnewview给出特征重建损失lossattr： 最终总损失为：loss＝lossoriview+lossnewview+lossattr+lossadversarial其中，lossadversarial指代生成对抗网络的对抗损失。

全文数据：

权利要求：

百度查询： 之江实验室 一种基于生成对抗网络的数据增强方法