买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏科技大学

摘要：本发明公开了一种基于知识蒸馏的中英机器翻译方法，包括如下步骤：步骤1：获取中英平行语料，并对平行语料中的每个句子进行预处理；步骤2：设置翻译模型的编码器包括：Transformerencoder编码器；解码器包括：Transformerdecoder解码器和Futuredecoder解码器，在翻译模型中增加知识蒸馏法模块，将步骤1中获取的预处理后的平行语料作为翻译模型的输入信息进行翻译模型训练，翻译模型通过知识蒸馏法将两个解码器进行交互；步骤3：翻译模型训练完成后，去除翻译模型中的Futuredecoder解码器、知识蒸馏法模块；步骤4：运用步骤3获取的翻译模型进行中英翻译。本发明使模型有效习得前后信息与当前位置词的联系，显著缓解曝光偏差问题。

主权项：1.一种基于知识蒸馏的中英机器翻译方法，其特征在于，包括如下步骤：步骤1：获取中英平行语料，并对平行语料中的每个句子进行预处理；步骤2：设置翻译模型的编码器包括：Transformerencoder编码器；解码器包括：Transformerdecoder解码器和Futuredecoder解码器，在翻译模型中增加知识蒸馏法模块，将步骤1中获取的预处理后的平行语料作为翻译模型的输入信息进行翻译模型训练，翻译模型通过知识蒸馏法将两个解码器进行交互，其中，Transformerencoder编码器的数学描述为： 其中，是源语言的词嵌入矩阵，X是源语言句子的one-hot矩阵，PX是源句子的位置编码，LayerNorm·是layernormalization函数，Et是第t个编码器的输出，EN为Transformerencoder的输出，N为Transformerencoder堆叠的编码器个数；Transformerdecoder解码器的数学描述为： 其中，是目标语言的词嵌入矩阵，Y是目标语言句子的one-hot矩阵，PY是目标句子的位置编码，Dt是第t个解码器的输出，DN为Transformerdecoder的输出，N为Transformerdecoder堆叠的解码器个数；翻译模型通过知识蒸馏法将两个解码器进行交互的具体方法如下：当翻译模型训练完数组句子时，翻译模型通过知识蒸馏法将Futuredecoder解码器的损失函数反向传递至Transformerdecoder解码器；步骤3：翻译模型训练完成后，去除翻译模型中的Futuredecoder解码器、知识蒸馏法模块；步骤4：运用步骤3获取的翻译模型进行中英翻译。

全文数据：

权利要求：

百度查询： 江苏科技大学 一种基于知识蒸馏的中英机器翻译方法