龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：淮阴工学院
申请日：2024-04-11
公开（公告）日：2024-06-21
公开（公告）号：CN118227795A
主分类号：G06F16/35
分类号：G06F16/35;G06F18/214;G06F18/2431;G06F40/30;G06N3/0464
优先权：
专利状态码：在审-公开
法律状态：2024.06.21#公开
摘要：本发明涉及一种基于知识蒸馏的双重先验文本分类方法，首先文本样本进行清洗和预处理，制作领域字典。通过人工获取可信度较高先验知识，再通过对比学习扩充人工标注，得出Ar标签损失；另一方面，使用了LGTMX—R模块，利用知识蒸馏进行损失计算Loss，再用其反馈到学生模型中，提高其在验证集上泛化性；接着两个不同的标签损失的基础上，使用动态加权，使得标签损失经过多轮计算过后更具鲁棒性，得到最优损失；最后在输出层对语义信息进行分类。本发明知识蒸馏可以更好地减少模型参数，加快模型速率，因此模型分类的性能更加健壮，并且双重先验文本分类模型中的特征提取得到更好地加强，能够有效提高模型性能。
主权项：1.一种基于知识蒸馏的双重先验文本分类方法，其特征在于，包括如下步骤：步骤1：对所有样本，制作相关词向量，按照比例并划分出训练集、验证集和测试集。步骤2：邀请领域内的工作者进行人工标注完成第一重人工先验，得到标注后的数据集及Ar标签损失；步骤3：将步骤1和步骤2中处理过的数据集均输入到反馈蒸馏模块LGTMX—R模型特征提取器中，提取样本文本的语义信息，得出DI标签损失；步骤4：使用步骤2处理过的Ar标签损失和步骤3中得到的DI标签损失进行标签和样本的混合学习，获得Ds动态学习标签损失；步骤5：将步骤3中的DI标签损失输入一层的全连接神经网络作为分类器进行分类，然后再和步骤4中得到的Ds动态学习标签损失的结果作为交叉熵损失，通过Adam优化器反向传播更新参数，每次更新参数后计算验证集上损失函数的值；步骤6：训练模型，利用训练后的模型进行目标样本文本的分类。
全文数据：
权利要求：
百度查询： 淮阴工学院 一种基于知识蒸馏的双重先验文本分类方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号