买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明涉及一种基于BiLSTM结合多头注意力的中文重叠事件抽取系统，属于自然语言处理领域，Bert编码器作为文本编码器，生成以标记上下文为条件的文本表示，并包含丰富的文本信息；事件类型检测解码器基于Bert文本分类模型，对事件进行分类；触发词提取解码器通过事件类型检测与触发词提取之间的条件依赖关系，根据获取到的事件类型提取出触发词；事件元素提取解码器采用多头注意力结合双向LSTM层对事件元素进行提取；损失权重调整模块结合多个损失函数，利用多个目标的同方差不确定性为每个任务动态分配权重。

主权项：1.一种基于BiLSTM结合多头注意力的中文重叠事件抽取系统，其特征在于：包括Bert编码器、事件类型检测解码器、触发词提取解码器、事件元素提取解码器和损失权重调整模块；所述Bert编码器作为文本编码器，生成以标记上下文为条件的文本表示，并包含丰富的文本信息；所述事件类型检测解码器基于Bert文本分类模型，对事件进行分类；所述触发词提取解码器通过事件类型检测与触发词提取之间的条件依赖关系，根据获取到的事件类型提取出触发词；所述事件元素提取解码器采用多头注意力结合双向LSTM层对事件元素进行提取；所述损失权重调整模块结合多个损失函数，利用多个目标的同方差不确定性为每个任务动态分配权重；所述事件类型检测解码器基于Bert文本分类模型，将最后一层输出的第一个token位置当作句子的表示，然后连接全连接层进行分类，具体包括以下步骤：S11：首先初始化嵌入矩阵为类型嵌入，其中E表示事件类型集合，d为词向量维，d＝768；S12：通过相似性函数δ来度量候选类型c∈C和标记表示之间的相关性；S13：通过测量具有相同相似度函数δ的自适应句子表征sc、类型嵌入c的相似度来预测事件类型；所述触发词提取解码器利用条件融合函数建立事件类型检测和触发词提取之间的条件依赖关系模型，对类型检测和触发词提取之间的条件依赖性进行建模，通过自注意力层来进一步细化触发词提取的表示；所述事件元素提取解码器首先使用条件融合函数φ对事件类型、触发词和事件元素进行依赖性建模，然后进行特征提取；采用多头注意力结合双向LSTM层来细化事件元素提取的表示：Zct＝[Zct′；P]1Yct＝[Yct′；P]2Xct＝[Zct；Yct]3其中是相对位置嵌入，dp是维度，Zct是经过双向LSTM层后的矩阵表示，Yct是经过多头注意力层后的矩阵表示，Xct是两层网络融合拼接后的矩阵表示，如公式1～3所示，然后使用正则化进行降维；最后使用指示符函数Ir,c来指示角色是否属于根据预定义事件模式的类型，表示公式如4所示： 使用一对taggers标记器来预测事件元素，其中表示Xc中的第i个tokens表示，事件元素起始位置和结束位置的表示如公式56所示： 选择值的结果为预测的起始位置，选择值的结果为预测的结束位置，ξ4,ξ5∈[0,1]是标量阈值；通过列举所有起始位置，搜索句子中最近的结束位置，起始位置和结束位置之间的标记形成一个完整的事件元素。

全文数据：

权利要求：

百度查询： 重庆邮电大学 基于BiLSTM结合多头注意力的中文重叠事件抽取系统