买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆理工大学

申请日：2023-10-20

公开（公告）日：2025-01-14

公开（公告）号：CN117407752B

专利技术分类：..分类技术[2023.01]

专利摘要：本发明具体涉及基于类别感知课程学习的半监督立场检测方法，包括：通过立场检测模型中检测推文的预测立场标签；训练模型时包括：通过有标签推文集合对立场检测模型进行预训练；将无标签推文集合输入预训练的立场检测模型，输出无标签推文的伪标签，生成带伪标签的无标签推文集合；基于课程学习从带伪标签的无标签推文集合中选取对应的无标签推文来构成伪标签推文集合；通过伪标签推文集合对预训练的立场检测模型进行优化，得到最终的立场检测模型。本发明通过半监督立场检测降低模型训练对标注数据的需求，同时通过课程学习框架来更好的关注半监督立场检测所需的伪标签质量，并且在选取伪标签推文时充分考虑标签类别平衡的问题。

专利权项：1.基于类别感知课程学习的半监督立场检测方法，其特征在于，包括：S1：获取待预测的推文；S2：将待预测的推文输入经过训练的立场检测模型中，输出对应推文的预测立场标签；立场检测模型基于双向长短时记忆网络构建；通过如下步骤训练立场检测模型：S201：获取有标签推文集合和无标签推文集合作为训练数据；S202：通过有标签推文集合对立场检测模型进行预训练，得到预训练的立场检测模型；S203：将无标签推文集合输入预训练的立场检测模型，输出各个无标签推文的预测立场标签作为其伪标签，进而生成带伪标签的无标签推文集合；S204：采用按标签类别比例选取推文的方式进行课程学习，进而从带伪标签的无标签推文集合中选取对应的无标签推文来构成伪标签推文集合；步骤S204中，通过如下公式生成无标签推文的伪标签： 式中：表示无标签推文的伪标签；si表示输入的无标签推文；F表示预训练的立场检测模型；θ表示立场检测模型的可学习参数；步骤S204中，基于课程学习框架，通过有标签推文集合的类别比例从带伪标签的无标签推文集合中选取对应的无标签推文，进而结合所选取无标签推文的伪标签生成伪标签推文集合；通过如下步骤生成伪标签推文集合：S2041：计算带伪标签的无标签推文集合中各个无标签推文的熵值；公式描述为： 式中：Hi表示无标签推文si的熵值；表示无标签推文si的伪标签；|C|表示无标签推文标签类别的数量；S2042：对于带伪标签的无标签推文集合中的每一个标签类别，按熵值从小到大的顺序对属于该标签类别的无标签推文进行排序；S2043：计算有标签推文集合中各个标签类别的占比权重；公式描述为： 式中：表示第j个标签类别cj的占比权重；yi表示有标签推文si的真实立场标签类别；Dl表示有标签推文集合中的推文数量；S2044：根据各个标签类别的占比权重计算该标签类别的无标签推文选取数量；公式描述为： 式中：表示第j个标签类别cj的无标签推文选取数量；q表示需选取无标签推文的总数；S2045：对于各个标签类别，对按熵值排好序的带伪标签的无标签推文，选取前个伪标签推文；公式描述为： 式中：表示从带伪标签的无标签推文集合中选取个第j个标签类别cj的无标签推文构成的集合；表示带伪标签的无标签推文集合中标签类别为cj的无标签推文集合；S2046：将所有选取的无标签推文进行合并，并按照熵值从小到大的顺序重新排序，生成伪标签推文集合；S205：通过伪标签推文集合对预训练的立场检测模型进行优化直至模型收敛，得到训练后的立场检测模型；步骤S205中，通过如下步骤实现预训练的立场检测模型的优化训练：S2051：从伪标签推文集合中获取无标签推文的文本和Hashtag；S2052：通过双向长短时记忆网络提取文本特征表示，得到基于文本的推文表示；S2053：通过自注意力机制学习Hashtag的特征表示，生成基于Hashtag的推文表示；S2054：将基于文本的推文表示和基于Hashtag的推文表示进行拼接和归一化，生成最终推文表示；S2055：将最终推文表示输入多层感知机，输出对应无标签推文的伪预测立场标签；S2056：根据无标签推文的伪预测立场标签和伪标签计算无标签损失，并优化模型参数；S2057：重复步骤S2051至S2056，直至立场检测模型收敛；S3：将对应推文的预测立场标签作为其立场检测结果。

百度查询： 重庆理工大学 基于类别感知课程学习的半监督立场检测方法