买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明公开了一种基于词干信息融合的关键词生成方法，该方法首先提取词干信息，将词干信息融入Embedding层，以增强同词干单词的强关联性；接着搜索文本中同词干变种组合构建参考文本，通过编码层模块提取参考文本中的词语义信息；再基于初始文本和参考文本加权扩充生成概率分布，采用双软开关复制机制修正复制机制带来的生成偏差；然后在译码器层面构建词干生成任务，通过词与词干的多任务联合训练获得最终关键词生成概率分布，缓解训练偏差导致网络性能无法充分发挥的问题，最后基于BeamSearch方法生成关键词。相比其他方法，本发明方法以词形态学为基础，生成能力强，预测准确率高，在文本理解方面具有明显优势。

主权项：1.一种基于词干信息融合的关键词生成方法，其特征在于，包括如下步骤：步骤1，提取词干信息，将词干信息融入Embedding层首先输入文本X，通过词干提取算法输出词干序列Xs，统计词干序列构建词干表，然后在Embedding层中对输入文本和词干序列进行高维向量表示和累加，采用集合LayerNorm的方式进行数据融合；步骤2，搜索文本中同词干变种组合构建参考文本，通过编码层模块提取参考文本中的词语义信息通过统计输入文本X中每个单词的同词干不同单词得到集合，并对集合无序排列得到参考文本A，采用与步骤1中相同方式获得参考文本表示向量eA，将参考文本表示向量作为模型输入，通过注意力机制学习不同单词之间的长远依赖，多层注意力机制联合累加获得不同层次不同方向的语义信息，采用残差网络和LayerNorm，获得编码器模块输出的语义向量hA；步骤3，基于初始文本和参考文本加权扩充生成概率分布，采用双软开关复制机制修正复制机制将单向门控循环单元GRU作为译码单元，迭代计算译码器状态向量st，然后计算当前生成概率sj对参考文本A相关性，生成上下文语义向量之后基于初始文本上下文语义向量和译码器状态向量st获得关键词初步生成概率pt，联合参考文本A上下文语义向量和初始文本上下语义向量生成权值，叠加attention分布，修正复制机制，生成最终生成概率步骤4，在译码器层面构建词干生成任务，通过词与词干的多任务联合训练优化最终关键词生成概率分布词干生成任务采用与关键词生成任务相同的步骤2、步骤3中编码器、译码器输出状态，拼接主编码器语义向量和译码器输出状态构建词干生成概率分布，采用交叉熵损失函数，通过联合关键词生成任务和词干生产任务同步训练的方式进行模型训练，获得最终关键词生成概率分布；步骤5：基于最终生成概率基于BeamSearch搜索方法生成最终的关键词序列。

全文数据：

权利要求：

百度查询： 东南大学 一种基于词干信息融合的关键词生成方法