申请/专利权人：西安电子科技大学

申请日：2024-03-15

公开（公告）日：2024-06-21

公开（公告）号：CN118228806A

主分类号：G06N3/096

分类号：G06N3/096;G06N3/0499;G06N3/0464;G06N3/084;G06N3/048

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明公开了一种基于超网络的动态模块化持续学习方法，主要解决现有技术计算资源浪费，模块复用率低及灾难性遗忘的问题。其方案是：获取任务流训练集；设计包含超网络及模块化网络的模型网络并定义其损失函数；将任务流训练集输入到模型网络中，使用任务流中的第一个任务训练初始化模型网络，并冻结完成该训练后的模块化网络；利用当前任务流的其他任务训练超网络及冻结模块化网络。所有训练均在模态不变正则化投影及模态不变正则化两阶段完成，即在不同阶段迭代计算模型损失函数和梯度，更新模型网络参数，直到达到设定的长度得到训练好的模型网络。本发明能克服灾难性遗忘，提升模块复用率，节约计算资源，可用于机器人学习，医疗诊断与辅助治疗。

主权项：1.一种基于超网络的动态模块化持续学习方法，其特征在,包括如下步骤：1从公开网站下载任务流数据，取其80％作为任务流训练集；2设计模型网络架构：选用包含多层感知机的超网络及由若干简单卷积网络作为组件构成的模块化网络；将选取的超网络与模块化网络进行连接组成模型网络架构，并分别定义模块化网络损失函数超网络参数的重要性定义模型网络损失函数3初始化包括超网络和模块化网络的模型网络参数，设置训练的两个阶段，即模态不变正则化投影阶段和模态不变正则化训练阶段的长度，且该模态不变正则化训练阶段包含增量投影阶段和积累阶段；4将任务流训练集输入到模型网络对其进行训练：4a判断当前任务是否为第一个任务：若当前任务是第一个任务，则使用初始化的模型网络进行学习；若当前任务不是第一个任务，则触发模态不变正则化投影阶段，在该阶段尝试使用上一个任务训练结束后冻结的模块化网络学习新任务，并通过超网络为冻结的模块化网络产生组件权重的分配方案；4b在模态不变正则化投影阶段结束时，利用费舍尔信息矩阵计算模态不变正则化投影阶段超网络参数的重要性4c计算模块化网络的损失函数以及模型网络损失函数利用反向传播更新模型参数；4d重复4a-4c，累计重复次数，当重复次数等于模态不变正则化投影阶段长度，停止该循环；4e判断现有组件是否满足新任务需求：若满足，则保持模型网络当前架构，执行步骤4i；若不满足，则在模块化网络中添加新的模块，以触发增量投影阶段，执行步骤4f；4f在增量投影阶段停止新模块的增加，训练生成当前模块权重分配方案的超网络；4g重复4f直至满足增量投影阶段的长度后触发积累阶段，在该积累阶段对新增模块和超网络进行训练，以优化模型网络；4h重复步骤4c-4g直至满足模态不变正则化训练阶段长度；4i重复步骤4a-4h直至当前任务训练结束，再对模块化网络中的所有模块进行冻结，使其不再更新参数；4j重复步骤4a-4i迭代更新模型，直至任务流训练集结束，完成任务流的学习过程，得到训练好的模型网络。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于超网络的动态模块化持续学习方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD