买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江工业大学

摘要：一种基于ERNIE和TextRCNN的中文文本意图识别方法，首先预处理中文文本，通过截断和填充操作对文本进行对齐处理，并为每个文本标注期望标签，得到处理后的数据集；输入到ERNIE嵌入层进行分词和字符转索引操作，结合分段嵌入和位置编码得到嵌入操作后的向量表示；得到ERNIE模型的输出向量；得到输出矩阵，通过最大池化层提取矩阵特征，经过全连接层和softmax层得到分类结果的概率分布；计算模型预测的概率分布与期望标签的交叉熵损失，反向传播误差，更新参数，保存训练好的模型；输入一个中文文本，使用训练好的模型预测输入文本的意图。本发明能够更精确判断文本意图。

主权项：1.一种基于ERNIE和TextRCNN的中文文本意图识别方法，其特征在于，所述方法包括以下步骤：步骤1、对包含多个待识别中文文本的数据集进行预处理，去除文本中各种类型的标点符号和特殊符号，预处理后的文本列表表示为T＝{t1,t2,...,tN}，N为文本列表的大小；步骤2、对文本列表T中的每个文本ti进行文本对齐处理，1≤i≤N，设置文本的固定长度为L，对文本长度大于L的文本ti进行截断处理，反之则用特殊符号[PAD]进行填充，并为每个文本ti标注期望标签yi，处理后的训练数据集表示为T'＝{t1,y1,t2,y2,...,tN,yN}；步骤3、将处理后的训练数据集T'输入到ERNIE嵌入层，进行分词和字符转索引操作，并结合分段嵌入和位置编码，得到嵌入操作后的向量表示E＝{E1,E2,...,EN}；步骤4、将嵌入向量E输入到多层transformer进行编码，经过多次线性映射，计算缩放点积注意力，再进行归一化和残差连接，得到ERNIE模型的输出向量L＝{L1,L2,...,LN}；步骤5、将向量L输入至TextRCNN模型，双向扫描文本信息得到上文向量和下文向量，向量L由双向卷积层进行卷积操作，得到输出矩阵结合上下文向量和W1输出矩阵使用tanh函数对矩阵W2进行激活，得到矩阵步骤6、通过最大池化层提取矩阵的特征得到输出向量判断文本中重要的实体部分，经过全连接层连接所有卷积核，并通过softmax函数得到分类结果的概率分布y'＝{y1',y2',...,yN'}；步骤7、采用交叉熵损失函数计算模型预测的概率分布y'与期望标签y的LossCrossEntropy，计算公式如下：将训练误差LossCrossEntropy反向传播，更新模型权重参数，模型训练S次后保存训练好的模型；步骤8、输入一个中文文本，使用训练好的模型预测输入文本的意图。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种基于ERNIE和TextRCNN的中文文本意图识别方法