买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北方工业大学

摘要：本发明公开了一种基于自适应参数更新的终身情感分类方法，所属技术领域为参数更新，包括：获取通用情感分类数据集，对所述通用情感分类数据集进行随机抽取，获得情感分类数据集；基于BERT模型构建情感分类器，通过所述情感分类数据集对所述情感分类器依次进行训练，并对训练后的分类器进行迭代网络剪枝和自适应参数更新，获得终身情感分类器；通过所述终身情感分类器对情感进行分类。为了保证模型的稳定性和可塑性，本发明使用两阶段的模型参数更新策略，在终身学习的背景下充分利用了已学习过的知识帮助新任务的学习，并防止知识遗忘。

主权项：1.一种基于自适应参数更新的终身情感分类方法，其特征在于，包括以下步骤：获取通用情感分类数据集，对所述通用情感分类数据集进行随机抽取，获得情感分类数据集；基于BERT模型构建情感分类器，通过所述情感分类数据集对所述情感分类器依次进行训练，并对训练后的分类器进行迭代网络剪枝和自适应参数更新，获得终身情感分类器；通过所述终身情感分类器对情感进行分类；所述自适应参数更新的过程包括：获取训练所述情感分类器的过程中得到的重要度矩阵，并将储存的上一个任务的参数填充至剪枝后的空白节点中，对新任务参数进行更新；基于贝叶斯在线学习框架下的不确定正则作为惩罚项，对所有的旧任务参数进行更新；所述重要度矩阵的表达式为： 其中，Fi为训练Mi时得到的关于第i个任务的重要度矩阵，tij表示任务i中的文本信息,yij表示对应的情感类别标签，Mi表示在第i个任务上微调后的模型；所述对新任务参数进行更新的损失函数的表达式为： 其中，∑jFi-1θi,j-θi-1,j2是BERT为实现终身学习，基于上一个任务学习到的特征给当前任务的各参数特征学习加入的二次损失；θi,j表示当前任务模型学习的参数，θi-1,j表示被填充的旧任务参数，Lθi表示BERT对任务i的情感分类数据集进行微调得到的原损失函数；所述网络剪枝的过程包括：基于保留参数的均值权重和标准差比值的幅度对每层的权重进行排序；在每一轮剪枝中，释放一定比例的具有最低保留参数的均值权重和标准差比值比率的权重；所述贝叶斯在线学习框架中的不确定正则化项的表达式为： 其中，⊙表示元素逐个相乘，代表BERT的第l层所有权重的初始标准差参数，并用于为控制学习过程的稳定性；和代表BERT第l层和任务k的均值权重和方差权重；UREG2中的用于对权重大小进行判断；UREG3用于使σk+1趋近σk，σ表示标准差；对所有的旧任务参数进行更新的损失函数为： 其中，为对所有的旧任务参数进行更新的损失函数，B代表BERT的层数，α，β和γ代表用于控制相应正则化项的超参数,Φ表示保留参数的均值权重。

全文数据：

权利要求：

百度查询： 北方工业大学 一种基于自适应参数更新的终身情感分类方法