买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明提供一种基于区域风格校正的人物属性编辑方法及装置。方法包括：对训练数据提取分割图，利用分割图对人物属性进行拆分，得到人物的不同属性，属性可以编辑；将拆分的人物属性和目标人姿态作为输入提取特征，利用区域特征匹配模块融合变换人物属性特征和目标人姿态特征，将细化后的特征解码得到目标人物粗图像；其次分别提取人物属性的风格编码，通过区域风格补偿模块将风格编码注入细化后的特征得到残差纹理图；然后利用残差纹理图对粗图像进行风格校正得到最终的人物图像；最后，利用区域风格一致性损失来监督风格校正的效果。由此将人物属性全局建模改为区域建模，不仅能对人物属性进行有效编辑，还保证了生成的目标图像具有真实纹理。

主权项：1.一种基于区域风格校正的人物属性编辑方法，其特征在于，包括：基于原始图像制作训练数据集，根据训练数据集里的训练数据提取人物姿态以及人物类别分割图；根据人物类别分割图分别提取人物的多个类别属性；根据所述人物的多个类别属性提取属性特征，根据所述人物姿态提取姿态特征；根据所述属性特征和所述姿态特征进行特征匹配，得到目标人物的粗图像；根据所述人物的多个类别属性，对其逐个提取源图像风格特征，得到多个类别的源图像风格特征；由原始图像的特征和姿态特征融合得到特征内容输入；根据所述源图像风格特征对所述特征内容输入进行区域风格补偿得到残差纹理图；根据所述残差纹理图对所述目标人物的粗图像进风格校正，得到最终目标人物图像；根据所述人物的多个类别属性提取属性特征，根据所述人物姿态提取姿态特征，根据所述属性特征和所述姿态特征进行特征匹配，得到目标人物的粗图像，包括：利用所产生的多个类别属性提取得到属性特征，并对人物姿态提取得到对应的姿态特征；将类别属性输入卷积编码器E1来提取类别属性的特征，将人物姿态输入卷积编码器E2来提取人物姿态的姿态特征；将提取的属性特征和姿态特征作为输入，先对属性特征进行卷积，然后在空间上进行softmax操作得到空间上的权重映射Wt；将空间上的权重映射Wt和属性特征逐元素相乘得到细化的属性特征；对姿态特征进行卷积后，在通道上对姿态特征进行softmax操作得到通道上的权重映射Wr；将通道上对权重映射Wr和姿态特征逐元素相乘得到细化的姿态特征；把所述细化的属性特征和细化的姿态特征逐元素相乘得到融合姿态的属性特征；引入残差结构，将融合姿态的属性特征和属性特征相加得到最终的细化特征，表示为：Rt＝Ft+Ft⊙Wt⊙Fr⊙Wr；其中Θ表示各元素乘积，Rt为最终的细化特征，Ft为属性特征，Fr为姿态特征，Wt为属性特征的空间权重映射，Wr为姿态特征的空间权重映射；对最终的细化特征进行卷积操作得到目标人物的粗图像Ic；根据所述人物的多个类别属性，对其逐个提取源图像风格特征，得到多个类别的源图像风格特征，包括：将人物的多个类别属性输入到风格编码器E3后得到各个区域的风格特征表示为： 其中风格编码器E3为所有分支共享，是特征图，b，c，h，w分别表示批量大小、通道、高度、宽度；N为分割图总类别数量，i表示第i个类别；表示类别为i的类别属性；表示第i个类别中批量大小为b、通道为c、高度为h、宽度为w的风格特征图；然后计算各个风格特征的方差，计算公式如下： 其中，H，W为特征图高度、宽度的尺寸大小，i表示第i个类别；表示第i个类别的风格特征的方差，表示第i个类别的风格特征的中间系数；使用全连接网络对方差进行转换，使其匹配细化特征的变换，通过全连接网络对方差进行变换得到风格补偿的仿射参数，转换如下： 其中，表示仿射参数，代表源图像风格特征，MLP表示多层全连接网络的特征转换。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种基于区域风格校正的人物属性编辑方法及装置