恭喜西北工业大学张艳宁获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜西北工业大学申请的专利一种基于一致性混合专家提示生成器的持续进化学习方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119250233B 。
龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411761131.1,技术领域涉及:G06N20/00;该发明授权一种基于一致性混合专家提示生成器的持续进化学习方法是由张艳宁;路悦;张世周;王晨旭;王鹏;程德;田雪涛设计研发完成,并于2024-12-03向国家知识产权局提交的专利申请。
本一种基于一致性混合专家提示生成器的持续进化学习方法在说明书摘要公布了:本发明公开了一种基于一致性混合专家提示生成器的持续进化学习方法,涉及模式识别技术领域,通过引入正交投影机制,确保提示生成器在新任务训练过程中能够生成与对应旧任务中一致的提示,从而有效防止灾难性遗忘,提升模型在多任务学习中的稳定性和抗遗忘能力。此外,本发明提出的提示生成器能够动态选择专家,以适应不同任务需求,实现知识的高效共享与稳定性维护。本发明解决了现有方法尚未有效解决新任务训练过程中对旧任务的干扰,导致模型在任务切换时容易发生严重的灾难性遗忘的问题。
本发明授权一种基于一致性混合专家提示生成器的持续进化学习方法在权利要求书中公布了:1.一种基于一致性混合专家提示生成器的持续进化学习方法,其特征在于,包括以下步骤:S1:初始化提示生成器的相关矩阵;S2:获取当前任务的训练数据集;S3:判断当前任务是否为第一个任务,如果是,则进入步骤S4,否则进入步骤S7;S4:将当前任务的输入特征输入至提示生成器和ViT模型中进行前向传播,并计算分类损失;S5:基于分类损失,通过反向传播计算提示生成器中路由网络权重和候选专家矩阵的梯度,用于更新相应参数;S6:判断当前任务是否达到最大迭代次数,如果未达到,则返回步骤S3,否则进入步骤S7:S7:保存提示生成器的参数,并利用训练数据集和训练后的相关矩阵更新两个非中心化协方差矩阵;S8:对更新后的两个非中心化协方差矩阵分别进行奇异值分解,并基于分解结果选择对应的零空间的基向量;S9:根据零空间的基向量更新零空间投影矩阵,并为零空间投影矩阵引入松弛因子;S10:基于更新后的零空间投影矩阵,将路由网络权重和候选专家矩阵的梯度投影到旧任务特征的零空间中,并使用学习率更新提示生成器的路由网络权重和候选专家矩阵;S11:判断当前任务是否为最后一个任务,如果不是,则返回步骤S2,否则完成所有任务的学习,并输出更新后的提示生成器的路由网络权重和候选专家矩阵,实现基于一致性混合专家提示生成器的持续进化学习;所述S4中包括以下分步骤:S41:将输入特征输入至提示生成器中,通过路由网络权重矩阵计算门控值,并选择前个门控值作为专家,公式为: 其中,为门控值,为激活函数,为输入特征,为路由网络权重矩阵,为实数域,为专家数量; 其中,为函数,表示用于标记每个门控值状态的变量,为第个门控值;S42:将选择的前个门控值进行归一化,并利用归一化结果与候选专家矩阵进行加权合并,生成最终的提示符,公式为: 其中,为归一化生成的门控向量,为输入特征维度,为提示符的长度;S43:将提示符和输入特征输入至ViT模型的对应层中进行前向传播,公式为: 其中,为ViT模型的对应层的输出特征,表示ViT层,为图像标记;S44:将输入特征输入至与ViT模型连接的分类器中,得到预测结果,并计算交叉熵损失,公式为: 其中,为类别总数,为类别的真实标签,为模型对类别的预测概率。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西北工业大学,其通讯地址为:710068 陕西省西安市友谊西路127号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。