买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明提供了一种基于语义层级的多任务Triplet损失函数学习方法，为数据库构建语义层级网络，语义层级进行triplets采样，对多任务Triplet网络训练，利用树分类器进行多任务分类。本发明针对Triplet网络多层次化训练的问题，提出了一种将语义层级网络与Triplet相结合的损失函数，利用语义知识指导网络层次化的区分样本结构，学习到一种包含语义层级信息且泛化性更强Triplet特征，有效的运用在多任务学习中，提升了不同语义层次下的特征可分性。同时，研究了一种新的层级化采样方法，使得网络能够挖掘到更有效的hardtriplets，最终提升网络的性能。

主权项：1.一种基于语义层级的多任务Triplet损失函数学习方法，其特征在于包括下述步骤：步骤1：为数据库构建语义层级网络；对于一个数据库，构建一个两层级语义层级网络，将数据库中已知的图像类别称作细类，作为语义层次结构的第二层，然后根据类别之间的视觉相似度或语义关系将细类归纳到新的类别中得到粗类，作为语义层次结构的第一层；步骤2：语义层级triplets采样；在将图像输入到Triplet网络训练之前，需要获取包含anchor，positive和negative的triplets对，其中，anchor表示选择的参考图像，positive为和anchor来自于同一类别的图像，negative为和anchor来自不同类别的图像，计算相似度损失，从而进行网络训练；根据步骤1的语义层级关系，进行采样，采样的具体步骤如下：采用balancedsampling，即对于整个数据集，先采样h个粗类，然后在每个粗类中采样n个细类，在每个细类中再采样t个样本，因此，每一次训练的batch中包含h*n*t个样本；步骤3：多任务Triplet网络训练；采样完成后，将采样后的样本输入到网络中进行训练；假设x是输入图像，作为anchor图像，是和anchor来自同一类别的positive图像，是和anchor来自不同类别的negative图像，网络利用三个图像组成的Triplets对用公式1计算最小化网络的损失，若总共输入N张训练图像，则Triplet损失函数如下式： 其中，阈值m控制同类聚集和异类分离的程度，表示margin的大小，m值范围在1-10之间；公式1最小化的要求为： 是和anchor来自同一细类的positive图像，是和anchor来自不同细类的negative图像，是和anchor来自不同粗类的negative图像，网络利用四个图像组成的quadruplets最小化网络的损失，在细类层级采用和式1相同的triplet损失，在粗类层级引入一个新的限制项，用于限制样本和不同粗类图像之间的距离，则多任务Triplet函数为： 其中，其中f.表示输入一张图像后，CNN最后一层全连接层所输出的特征向量，mf表示细类margin，控制细类之间图像的聚集度和分离度，mc表示粗类margin，控制粗类之间的分离度，mf以相对距离控制细类，mc以绝对距离控制粗类，λ为权重；在经过f.映射后的特征空间中，由于网络学习的目的是使得损失最小化，即使式3最小，也就是最小化最大化和梯度计算为： 其中Wt指网络的权重，为网络计算的梯度；以梯度更新网络的参数，使得网络的损失最小化；步骤4：树分类器进行多任务分类；在网络训练完成后得到多任务Triplet特征，构建一个树分类器对特征进行简单的分类，结合两层语义结构和softmax构建一个层次化的softmax树分类器，即在CNN的最后一层分类层并联粗分类softmax层和细分类softmax层，同时进行粗类和细类损失的计算和分类结果输出，从而实现多任务分类，细分类和粗分类的概率计算为： 假如将l类记为任意一类，其中为输入到粗分类器的特征值，为输入到细分类器的特征值，P表示总的粗分类概率，而Cl和Fl分别表示图像x被分类到的特定的粗类l和细类l的类别，C是属的总数，N代表图像被分类到的粗类任务组，精细分类预测分数应由粗层预测分数和细层预测分数共同确定；当分类器中各类概率计算出来后，概率值最大值所对应的类别，即为所对应的类别。

全文数据：

权利要求：

百度查询： 西北工业大学 基于语义层级的多任务Triplet损失函数学习方法