申请/专利权人：东华理工大学南昌校区

申请日：2023-11-28

公开（公告）日：2024-06-28

公开（公告）号：CN117574309B

主分类号：G06F18/2451

分类号：G06F18/2451;G06F18/25;G06F18/21;G06N3/0455

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.03.08#实质审查的生效;2024.02.20#公开

摘要：本发明公开了融合多标签对比学习和KNN的层次文本分类方法，包括：通过Graphormer编码标签层次结构，获得标签表示，计算每个标签表示和每个文本词元嵌入之间的注意力权重，获得对应的文本表示；将原始输入样本和正样本的文本表示输入到多标签分类器，计算分类损失；对多标签对比损失、原始输入样本和正样本的分类损失进行求和，基于总损失训练BERT模型，获得测试样本的文本表示，将测试文本的文本表示输入至多标签分类器，获取训练好的模型的预测结果；将KNN预测结果与所述训练好的模型的预测结果进行线性融合，获得最终的预测结果。本发明根据基于标签相似度的动态系数来决定样本对的正向程度，更适用于层次文本分类。

主权项：1.融合多标签对比学习和KNN的层次文本分类方法，其特征在于，包括：通过Graphormer编码标签层次结构，获得代表每个标签节点特征的标签表示，计算每个所述标签表示和每个文本词元嵌入之间的注意力权重，基于所述注意力权重构建正样本，将原始输入文本与所述正样本分别输入到BERT模型中，获得对应的文本表示；计算所述原始输入文本与所述正样本的文本表示的多标签对比损失，并将所述原始输入文本和所述正样本的文本表示输入到多标签分类器，分别计算分类损失；对所述多标签对比损失、原始输入文本和正样本的所述分类损失进行求和，得到总损失，基于所述总损失训练所述BERT模型；将测试样本输入到训练好的模型中，获得测试样本的文本表示，采用KNN检索与所述测试样本的文本表示相似度最高的k个训练样本作为最近邻居样本，并将所述邻居样本的标签作为KNN预测结果，并将所述测试样本的文本表示输入至所述多标签分类器，获取训练好的模型的预测结果；将所述KNN预测结果与所述训练好的模型的预测结果进行线性融合，获得最终的预测结果；通过Graphormer编码标签层次结构，获得所述标签表示，包括：将节点的原始特征初始化为标签嵌入和名称嵌入的和，并将所有标签节点的表示堆叠为矩阵，通过自注意力层来进行特征迁移，最终所述标签表示通过自注意力层公式进行计算；将所述节点的原始特征初始化为标签嵌入和名称嵌入的和的方法为： 式中，为标签嵌入和名称嵌入的和，为可学习的标签嵌入，为名称嵌入，为第i个标签节点；计算所述标签表示的方法为： 式中，为标签表示，为层归一化，为注意力权重矩阵，为value矩阵，为所有标签节点表示堆叠而成的矩阵，表示矩阵形状；计算每个所述标签表示和每个文本词元嵌入之间的注意力权重的方法为： 式中，为每个标签表示和每个文本词元嵌入之间的注意力权重，为输入文本第个词元的BERT词元嵌入，为第个标签的表示，为标签表示的尺寸，和分别为权重矩阵Q和权重矩阵K，，，R为矩阵形状；基于所述注意力权重构建正样本，包括：通过gumbel-softmax计算所述原始输入文本中任意词元属于所述原始输入文本真实标签集的概率，保留原始输入文本中概率高于预设阈值的词元，并将概率低于所述预设阈值的词元替换为嵌入全为0的特殊词元，得到所述正样本；其中，构建所述正样本的方法为： 式中，为词元的正样本，为任意词元，为关于真实标签集的概率，为固定阈值；计算所述原始输入文本中任意词元属于所述原始输入文本真实标签集的概率的方法为： 式中，为元属于标签的概率，为词元关于标签的注意力权重，为第个标签；由于层次文本分类中一个文本拥有多个标签，则某个词元关于其真实标签集的概率为： 其中，为词元关于其真实标签集的概率，为该文本的真实标签集合。

全文数据：

权利要求：

百度查询： 东华理工大学南昌校区 融合多标签对比学习和KNN的层次文本分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD