买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：清华大学

摘要：本发明提出一种基于先天知识的持续学习方法及装置，方法包括：获取第一训练数据并对所述第一训练数据进行预处理；将预处理后的所述第一训练数据输入至预先训练的生成器，输出第二训练数据；根据所述第二训练数据和分类神经网络，训练神经网络模型的初始化参数；根据所述第一训练数据和预先构建的损失函数，对所述神经网络模型的初始化参数进行更新以得到更新后的所述神经网络模型。本发明在学习任务前引入一个生成器，提前对神经网络进行参数的初始化，在后续训练过程中，综合生成器产生的任务0与当前学习任务，进行正则化约束，使得模型可以进行快速收敛，有效减少神经网络在持续学习中面临的灾难性遗忘问题，提高模型的任务学习能力。

主权项：1.一种基于先天知识的持续学习方法，其特征在于，所述方法用于实现神经网络的持续学习，所述神经网络应用于人脸识别，所述方法包括以下步骤：获取第一训练数据，并对所述第一训练数据进行预处理；将预处理后的所述第一训练数据输入至预先训练的生成器，输出第二训练数据；根据所述第二训练数据和分类神经网络，训练神经网络模型的初始化参数；根据所述第一训练数据和预先构建的损失函数，对所述神经网络模型的初始化参数进行更新，以得到更新后的所述神经网络模型；其中，对所述第一训练数据进行预处理，包括：对输入数据进行通用处理，变换为通用行向量的形式，具体表示形式如下： 其中i表示任务的序号，j表示在当前任务i下的第j个数据，n表示在当前数据下的第n个向量分量；将预处理后的所述第一训练数据输入至预先训练的生成器，输出第二训练数据，包括：根据任务以及数据构建生成器；数据的相应隐变量z服从某种分布，利用生成器学习映射X＝Gz，实现隐变量分布z与真实数据分布PX的转换，将第一训练数据集合 投入生成器进行训练，最终得到生成器映射为：X＝Gz，加入一个偏差项B,使得最终产生生成器数据与第一训练数据结果存在一定差异，但是均与隐变量分布z产生关联，最终生成器映射为：X′＝Gz+Bz；根据任务1训练出的生成器，模拟产生相应第二训练数据；设定任务数据集合为A0，则任务0的数据集合为： 其中代表了模拟生成任务0中的数据任务0的数据数量为t，t的数量与其余任务的数据数量j有关系，一般比较合适的关系为：t＝2j；所述损失函数通过添加了新任务与过往任务模型参数的正则项以及任务0在当前任务模型参数的正则项，限制神经网络的更新，让神经网络保存原有任务参数信息，参数不会与初始参数空间变换太多，实现较强的泛化能力与学习能力，其中，具体设计损失函数如下： 其中，θ表示与标签之间的差异，Lpθ表示当前任务t下求得的交叉熵函数，代表了学习当前数据后，模型参数从Ht-1更新未Ht后参数的变化，代表了当前神经网络Ht在前向传播任务t数据与任务0初始化的数据的总差异。

全文数据：

权利要求：

百度查询： 清华大学 基于先天知识的持续学习方法及装置