买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：清华大学;腾讯科技(深圳)有限公司

摘要：本发明提供一种判别式语言模型的模型调整方法及装置，所述方法包括以下步骤：获取预训练的判别式语言模型和下游任务的训练数据集；响应于任务请求，根据所述任务请求的类型和所述训练数据集，对所述预训练的语言模型进行调整；其中，所述判别式语言模型是通过文本样本训练得到的。通过对判别式语言模型在不同的下游任务阶段进行模型参数的调整，消除判别式语言模型在模型预训练阶段与下游任务之间的差别，提高模型的整体效果。

主权项：1.一种判别式语言模型的模型调整方法，其特征在于，所述方法包括：获取预训练的判别式语言模型和下游任务的训练数据集；响应于任务请求，根据所述任务请求的类型和所述训练数据集，对所述预训练的语言模型进行调整；其中，所述判别式语言模型是通过文本样本训练得到的；基于Prompt-Tuning范式对所述预训练的语言模型进行调整；响应于任务请求，根据所述任务请求的类型和所述训练数据集，对所述预训练的语言模型进行调整，具体包括：获取所述训练数据集中的输入文本；若所述任务请求的类型是文本分类任务，则：将所述输入文本编码为包括若干令牌的令牌组，在所述若干令牌后插入类别令牌；提取所述类别令牌对应的向量，将所述向量与相同长度的共享向量做内积处理，以得到所述向量对应的概率值；基于所述概率值对所述预训练的语言模型进行调整；将所述向量与相同长度的共享向量做内积处理，之后还包括：将得到的内积处理结果通过Sigmoid函数进行激活，以得到所述向量对应的概率值；所述基于所述概率值对所述预训练的语言模型进行调整，具体包括：设定所述概率值为p，则将1-p作为真实概率值；根据所述真实概率值计算模型损失；基于所述模型损失，对所述预训练的语言模型进行微调；所述判别式语言模型的预训练过程包括：获取所述文本样本和初始判别式语言模型，将所述文本样本的每个字母编码为对应的令牌；所述初始判别式语言模型包括生成器和判别器；通过所述生成器生成替换令牌对所述文本样本对应的若干令牌进行替换；通过所述判别器对替换过的所述文本样本对应的令牌进行判别，得到判别结果；将替换过的所述文本样本对应的令牌和所述判别结果输入所述初始判别式语言模型进行训练，以得到预训练的所述判别式语言模型。

全文数据：

权利要求：

百度查询： 清华大学 腾讯科技(深圳)有限公司 一种判别式语言模型的模型调整方法及装置