买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州大成运和智能科技有限公司

摘要：本发明公开了一种生成低迁移差距的视觉自监督学习模型的方法，包括以下步骤：S1，确定主干网络和颈部网络；S2，对主干网络进行简化；S3，生成中间重建标签xs；S4，确定多阶段损失函数l；S5，构建待训练模型；S6，获取上游任务数据集和下游任务数据集；S7，对待训练模型进行训练；S8，对预训练模型进行微调。本发明的方法使用了颈部网络来进行重建和识别，从而最大限度地减少了训练前和微调之间的迁移差距。而且本发明的方法设计了掩码特征建模MFM任务来补充掩码图像建模MIM，以更好地优化颈部网络。经过本方法预训练的视觉识别模型在无人物流区对障碍物的识别具有较高的识别准确率。

主权项：1.一种生成低迁移差距的视觉自监督学习模型的方法，其特征在于，包括以下步骤：S1，确定主干网络和颈部网络，具体包括以下步骤：S11，确定主干网络fx；θ：fx；θ＝U0，U1，U2，…Us；其中，x为输入的图像；θ为主干网络的可学习参数；U0代表输入图像x切片后的结果，Us则表示主干网络第s个阶段输出的主干网络特征图，其中：1≤s≤L；L为主干网络的阶段数；S12，确定颈部网络：颈部网络的数学描述如下式所示： 其中，gs·表示颈部网络g·；ф的第s层的函数，用于对Vs+1进行上采样，使得其与Vs的分辨率一致，Vs为第s层颈部网络特征图；Ф为颈部网络中每一层的可学习参数фs的集合；S13，判断主干网络类型，当主干网络为HiViT时，则进入步骤S2，否则将主干网络作为最终主干网络，进入S3；S2，对主干网络进行简化，用于使s＝1时计算出图像x的全局注意力；将简化后的主干网络作为最终主干网络，进入S3；S3，生成中间重建标签xs：利用教师主干网络来为所述图像x生成中间重建标签xs，如下式所示： 其中，为教师主干网络的权重值；直接继承自公开的经过CLIP预训练过的模型；S4，确定多阶段损失函数l：构建多阶段损失函数l，包括掩码图像建模损失和掩码特征建模损失，如下式所示： 其中，||x-hpt，0V||为掩码图像建模损失，hpt，0·为重建头函数； 为掩码特征建模损失，用于补充所述掩码图像建模损失；γ为掩码特征建模损失系数；S5，构建待训练模型：使用所述最终主干网络、S1中的颈部网络和S4中的多阶段损失函数l构建待训练模型；S6，获取上游任务数据集和下游任务数据集：从公开的数据集中选取上游任务数据集来对所述待训练模型进行预训练；其中N为上游任务数据集中样本的总数量，n为上游任务数据集中样本编号；采集待应用现场的图像作为下游任务数据集其中M为下游任务数据集样本的总数量；m为下游任务数据集样本编号，是的标签；S7，对待训练模型进行训练：对S5中的待训练模型在所述上游任务数据集上进行训练，其中：训练完成得到预训练模型；S8，对预训练模型进行微调：使用S7得到的预训练模型在所述下游任务数据集上进行微调训练；当预训练模型训练至收敛时，得到并输出完成训练的模型；其中，hft﹒为检测头函数。

全文数据：

权利要求：

百度查询： 苏州大成运和智能科技有限公司 一种生成低迁移差距视觉自监督学习模型的方法