买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京邮电大学

摘要：本发明提供了一种基于局部令牌语义挖掘的长尾参数高效微调方法。所述方法包括：采用预训练的序列化视觉编码器初始化图像特征提取模型，并使用相应的预训练的文本编码器提取类别文本特征对分类器权重进行初始化；然后对图像进行序列化，使用图像特征提取模型和参数高效微调模块提取序列化图像特征；通过语义聚合函数，挖掘并聚合局部序列化特征中局部令牌所包含的语义信息，用以增强序列化特征中的类别令牌特征，获得增强类别令牌特征；然后采用概率控制样本补充策略，灵活地利用增强类别令牌特征对各类别样本进行补充，从而缓解长尾分布问题；最后通过图像分类损失和令牌特征一致性损失监督参数高效微调模块、语义聚合函数和分类器的学习。本发明提出的框架能够应对预训练模型用于下游长尾图像分类任务时，所遇到的的信息不平衡和缺失问题。此框架能够大幅提升基于预训练序列化模型的多种参数高效微调方法及多种分类损失函数在长尾分布场景中的图像分类性能，具有较强的实用性。

主权项：1.一种基于局部令牌语义挖掘的长尾参数高效微调方法，其特征在于，所述方法包括以下步骤：步骤1，构建包含特征提取骨干网络、参数高效微调模块、语义聚合函数以及分类器的序列化图像分类模型，并进行初始化。步骤2，对采样的训练图像进行序列化，并进行初始特征嵌入，在序列首位添加类别令牌后，对序列进行位置编码，然后输入到模型中提取图像的序列化特征；步骤3，得到序列化特征后，语义聚合函数首先计算各个局部令牌与类别令牌的特征相似性，将相似性和一组可学习的权重参数相结合，进而对包含较多语义信息的局部令牌进行内容感知的可学习的聚合，与类别令牌特征耦合后得到增强类别令牌特征；步骤4，对于增强令牌特征，针对长尾特性，进行通过概率控制的样本补充。将增强令牌特征作为新样本补充到对应类别中，通过概率控制，对尾部类别补充更多特征样本，从而对长尾分布进行再平衡；步骤5，根据获得的图像特征进行损失计算。一方面，对作为补充特征样本的增强类别令牌特征及数据集原有样本对应的类别令牌特征通过分类器后，对预测分布和标签分布计算分类损失；另一方面，对所有增强类别令牌特征施加令牌特征一致性损失，及约束增强前后的类别令牌特征通过分类器后，做出的分布预测保持语义一致性；步骤6，根据计算得到的图像分类损失和令牌特征一致性损失进行模型训练。步骤7，在平衡分布的测试集上，对预处理后的测试数据，通过训练好的特征提取骨干网络和参数微调模块提取图像特征，然后通过分类器给出分类结果，计算分类结果与真实标签的匹配率，评估模型性能。

全文数据：

权利要求：

百度查询： 北京邮电大学 一种基于局部令牌语义挖掘的长尾参数高效微调方法