买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明提供了一种零空间中提示微调的持续进化学习方法，使待训练的提示词符在与旧任务的图像词符相关的零空间内更新，从而消除提示词符的更新对旧任务图像特征的改变，达到消除训练干预问题、从理论上避免灾难性遗忘的目的。本发明将提示词符的梯度映射到旧任务图像词符的零空间内，从而避免了提示词符的更新对旧任务图像特征的改变，解决了基于提示微调的持续进化学习的训练干预技术难题，显著减轻了灾难性遗忘；在现有公开的持续进化学习测试基准上，本发明在类增量持续学习设定下使准确率提升4％～10％、遗忘率降低3％～17％。

主权项：1.一种零空间中提示微调的持续进化学习方法，其特征在于包括如下步骤：步骤1：随机初始化提示词符Pt，s，t表示任务序号，s表示训练过程中的迭代次数，总的任务数量表示为T′，每个任务中预设的最大迭代次数表示为N；初始化第一非中心化协方差矩阵C1，t＝0，其中0代表零矩阵，初始化第二非中心化协方差矩阵C2，t＝0；初始化第一零空间映射矩阵B1，t＝I，其中I代表单位矩阵，初始化第二零空间映射矩阵B2，t＝I；步骤2：获取第t个任务的训练样本集合，训练样本集合中的每一个训练样本包含一个图像及其对应的类别标签；所述训练样本集合中的类别数量为Ct；步骤3：计算提示词符Pt，N；步骤4：利用任务的训练样本集合和提示词符Pt，N更新第一非中心化协方差矩阵C1，t和第二非中心化协方差矩阵C2，t；步骤5：使用奇异值分解分别计算C1，t和C2，t的近似零空间的基和步骤6：使用近似零空间的基和更新零空间映射矩阵B1，t+1和B2，t+1： 其中η1与η2分别为两个0.9到1之间的超参数，||·|||F代表矩阵的Frobenius范数；更新的B1，t+1和B2，t+1用于后续在任务中对梯度Gt，s进行零空间映射；步骤7：判断是否完成任务的学习，即是否满足t＝T′，如果t＝T′，则结束训练过程，进入步骤8；如果t不等于T′，则进入步骤2，开始第t+1个任务的学习，直至满足t＝T′；步骤8：输出优化完成的提示词符PT，N，PT，N即为通过持续进化学习方法得到的优化后的提示词符，用于在实际中对测试图像推理类别标签。

全文数据：

权利要求：

百度查询： 西北工业大学 一种零空间中提示微调的持续进化学习方法