买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：之江实验室;华东师范大学

摘要：本发明涉及语义分割技术领域，尤其是一种基于层次化语义先验的语义分割方法，首先我们将层次化的语义先验进行了数学描述，便于将其进行表达；接着利用任意已知网络分别学习一个粗语义类别特征和细语义类别特征；再利用学习到的粗语义类别特征与层次化语义先验构建一个伪造的细语义类别特征，同时利用学习到的细语义类别特征与层次化语义先验构建一个伪造的粗语义类别特征；最后将学习的两个粗和细语义类别特征分别用人工标签进行监督训练，将伪造的语义类别特征和学习到的语义类别特征分别进行对比，使得构建的语义类别特征逼近正确结果。本发明解决了人类的层次化语义先验无法融合进深度网络的问题，利用了人类的层次化语义先验来引导语义分割。

主权项：1.一种基于层次化语义先验的语义分割方法，其特征在于，包括如下步骤：步骤1，采用数学描述层次化语义先验；步骤2，利用任意已知网络分别学习粗语义类别特征与细语义类别特征；步骤3，利用学习到的粗语义类别特征与层次化语义先验构建一个伪造的细语义类别特征；步骤4，利用学习到的细语义类别特征与层次化语义先验构建一个伪造的粗语义类别特征；步骤5，采用双向循环正则方法对网络进行训练，将学习的粗语义类别特征和细语义类别特征分别用人工标签进行监督训练，将伪造的语义类别特征和学习到的语义类别特征分别进行对比，使得构建的语义类别特征逼近正确结果；所述步骤1具体包括如下步骤：S101）对语义类别进行人为归类，将精细化的类别以人类经验划分为若干组粗类别；S102）将层次化语义先验知识定义为向量v,v={N1,N2,…,NM}，表示共有M个粗类别语义，N1的值等于在第一个粗类别下精细类别的个数，以此类推；所述步骤2具体包括如下步骤：S201）将原图输入任意已知网络，输出一个有M个通道的特征图，并用对应的粗语义标签进行监督，该特征图定义为粗语义类别特征Fc；S202）将粗语义类别特征继续输入一个任意已知网络，输出一个有F个通道的特征图，并用对应的细语义标签进行监督，F是N1,N2…NM所有值的和，表示细语义类别个数，该特征图被定义为细语义类别特征Ff；所述步骤3具体包括如下步骤：S301）以学习到的粗语义类别特征Fc作为输入，粗语义类别标签作为掩码；S302）将粗语义类别特征输入到M个卷积层中，每个卷积层的卷积核大小均为K,通道数分别为N1,N2,…NM，以得到M个特征图，所述特征图均继承粗语义类别类中的信息，但通道数不一致；S303）对粗语义类别标签掩码进行处理，将其转换为M个不同的子掩码，每个子掩码只对一种粗语义类别置为1，其余类别均置为0；S304）将得到的M个特征图分别通过Softmax函数，使每个特征图表示出现不同类别的概率，将概率图与对应的掩码相乘，得到的每个概率图只表达一种类别的概率，而对其他类别的概率均为0；S305）将M个最新的概率图依序拼接，拼接后的特征图尺寸与原输入的粗语义类别特征Fc一致，通道数目为精细标签数目F，该特征图表述了每个像素是不同类别的概率，定义拼接后的特征图为伪造细语义类别特征Ff0；所述步骤4具体包括如下步骤：S401）以学习到的细语义类别特征Ff作为输入,将其通过Softmax函数，得到的是每个像素分属不同类别的概率；S402）以切片（slice）操作，将Ff切分为M个不同通道的特征图，通道数目依次为N1,N2,…NM；S403将每个特征图各自通过池化层，通道数变为1，以提取不同类别的特征，现在得到M个通道数为1的特征图；S404）将M个通道数为1的特征图依序拼接，得到一个M通道的特征图,将这个特征图定义为伪造粗语义类别特征Fc0；所述步骤5具体包括如下步骤：S501）将伪造细语义类别特征Ff0与学习到的细语义类别特征Ff进行比较，以L1损失计算，并参与反向传播更新网络参数；S502）将伪造粗语义类别特征Fc0与学习到的粗语义类别特征Fc进行比较，以L1损失计算，并参与反向传播更新网络参数；S503）将学习到粗语义类别特征Fc通过Softmax函数，得到每个点处于不同粗类别的概率，再通过余弦交叉熵损失函数与粗语义标签对比，并参与反向传播更新参数；S504）将学习到细语义类别特征Ff通过Softmax函数，得到每个点处于不同细类别的概率，再通过余弦交叉熵损失函数与细语义标签对比，并参与反向传播更新参数。

全文数据：

权利要求：

百度查询： 之江实验室 华东师范大学 一种基于层次化语义先验的语义分割方法