买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：清华大学

摘要：本申请提出了一种利用无标签文本数据样本提升分类模型表现的方法，该方法包括：获取有标签样本集合、无标签样本集合、分类任务的分类类型集合、验证集和监督学习模型；对监督学习模型进行参数初始化，确定第一扰动概率和第二扰动概率；使用有标签样本集合、无标签样本集合对监督学习模型进行重复训练，并在每一次训练后对监督学习模型在验证集上评估表现，若评价指标表现更好时，记录当时的模型参数，当重复训练达到预设条件时，训练停止，输出最终训练完成的模型。采用上述方案的本申请能够通过文本字符和模型随机化结构来添加随机扰动，使得无标签样本同时参与训练，提升了分类模型的表现。

主权项：1.一种利用无标签文本数据样本提升分类模型表现的方法，其特征在于，包括以下步骤：获取有标签样本集合、无标签样本集合、分类任务的分类类型集合、验证集和监督学习模型，其中，所述分类任务的分类类型集合包含样本所有可能的类型，分类模型需要使用所述分类任务的分类类型集合来预测输入样本的类型，所述监督学习模型通过使用有标签样本进行训练生成；对所述监督学习模型进行参数初始化，确定第一扰动概率和第二扰动概率，其中，所述第一扰动概率为随机将输入文本字符置为0号字符的概率，所述0号字符表示对应固定不变的全0变量，所述第二扰动概率代表模型中的随机化层的概率；使用所述有标签样本集合、无标签样本集合对所述监督学习模型进行重复训练，并在每一次训练后对所述监督学习模型在所述验证集上评估表现，若评价指标表现更好时，记录当时的模型参数，当所述重复训练达到预设条件时，训练停止，输出最终训练完成的模型；其中，对所述监督学习模型进行训练，包括以下步骤：随机从所述有标签样本集合、所述无标签样本集合中分别采样一批数据作为训练数据；使用所述第一扰动概率、所述第二扰动概率分别对所述训练数据中的样本的文本数据和模型本身的随机化结构添加扰动；使用所述训练数据计算得到损失函数，并反向传播更新参数梯度；所述损失函数表示为：Lmerge＝Llabeled+λLunlabeled其中，Llabeled表示有标签样本集合的损失函数，Lunlabeled表示无标签样本集合的损失函数，使用参数λ来控制无标签样本部分的损失函数权重；若所述分类任务为多标签分类，所述有标签样本集合的损失函数为二元交叉熵，所述无标签样本集合的损失函数表示为： 其中，B2为所述训练数据中的无标签样本，I表示指示函数，返回括号中向量每个位置的条件是否为真，ps,c代表预测向量的每个位置对应的分类c都要进行判断，β是一个常数阈值，用于判断模型给出的预测结果是否可靠，模型通过β来舍弃不可靠的无标签样本，⊙为向量点积，计算了两个概率分布的距离，ps,ε是样本s在添加扰动后得到的预测概率，p's为样本s在极化预测后的目标预测概率，多标签分类模型在输出预测结果时，会先计算出原始的预测结果，再经过sigmoid函数将预测结果映射到0到1之间，计算得到样本具有特定类型的概率，极化作用于模型计算所述目标预测概率的sigmoid函数，所述sigmoid函数的计算公式为： 其中，x表示模型计算得到的原始预测结果，0τ≤1是温度常数，控制极化的程度，越接近0则sigmoid函数输出值越靠近0或1，极化程度越高。

全文数据：

权利要求：

百度查询： 清华大学 利用无标签文本数据样本提升分类模型表现的方法和装置