买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明提供一种词向量和句向量互信息最大化的句嵌入方法及系统，其中方法包括编码第一待识别句子中的各词语；对第一待识别句子中目标词向量的多个维度进行置零操作；编码第二待识别句子中的各词语；将第一词向量矩阵中的每个词向量经过多头自注意力层计算；将第二词向量矩阵中的每个词向量经过多头自注意力层计算；对第三词向量矩阵进行平均池化操作；对第一整体句向量进行维度置零操作；计算第二整体句向量与第四词向量矩阵中对应的词向量的点积；计算第四词向量矩阵中词向量和第二整体句向量的互信息；将第四词向量矩阵中词向量和第二整体句向量的互信息最大化。本发明解决了现有的无监督句嵌入方法使用效果不佳的问题。

主权项：1.一种词向量和句向量互信息最大化的句嵌入方法，其特征在于，包括：编码第一待识别句子中的各词语，得到第一词向量矩阵，所述第一词向量矩阵包括对第一待识别句子中每个词语编码后得到的词向量；对第一待识别句子中目标词向量的多个维度进行置零操作，得到第二待识别句子；编码第二待识别句子中的各词语，得到第二词向量矩阵，所述第二词向量矩阵包括对第二待识别句子中每个词语编码后得到的词向量；将第一词向量矩阵中的每个词向量经过多头自注意力层计算，得到第三词向量矩阵；将第二词向量矩阵中的每个词向量经过多头自注意力层计算，得到第四词向量矩阵；对第三词向量矩阵进行平均池化操作，得到第一待识别句子的第一整体句向量；对第一整体句向量进行维度置零操作，得到第二整体句向量；计算第二整体句向量与第四词向量矩阵中对应的词向量的点积，得到正例样本对和负例样本对的分数；根据正例样本对和负例样本对的分数，计算第四词向量矩阵中词向量和第二整体句向量的互信息；将第四词向量矩阵中词向量和第二整体句向量的互信息最大化；所述根据正例样本对和负例样本对的分数，计算第四词向量矩阵中词向量和第二整体句向量的互信息，包括：根据以下公式计算第四词向量矩阵中词向量和第二整体句向量的互信息： 其中，Fi为第一待识别句子中第i个词；G为第二整体句向量；LJSDFi,G为第四词向量矩阵中词向量和第二整体句向量的互信息；T为第二整体句向量与第四词向量矩阵中对应的词向量的点积；Fi'为除第一待识别句子之外的句子中的词；sp即softplus激活函数，定义为spz＝log1+ez；EP表示数学期望；P为正例样本的数据分布；为负例样本的数据分布；所述将第四词向量矩阵中词向量和第二整体句向量的互信息最大化，包括：根据以下公式最大化互信息： 其中，Θ为最大化互信息；|S|为总的句子数；S为当前文本所有的句子；s为第一待识别句子；LJSDFi,G为第四词向量矩阵中词向量和第二整体句向量的互信息；l为当前文本所有的句子中最长的句子包含的单词数。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种词向量和句向量互信息最大化的句嵌入方法及系统