买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京澜舟科技有限公司

摘要：本发明涉及自然语言处理技术领域，特别涉及一种中文拼写纠错模型的训练方法以及存储介质，本发明提供的中文拼写纠错模型的训练方法，通过获取的拼音语料对原始词表进行扩充，获得拼音组合词表；获取初始大语言模型，并基于拼音组合词表进行初始预训练；构建以拼音为中枢语言的拼音‑文本训练数据和拼音掩码训练数据，以根据预设对齐任务对初始大语言模型进行继续预训练；构建基于思维链的第一指令数据和基于角色的第二指令数据，以对完成预训练的初始大语言模型进行微调，获得中文拼写纠错模型。实现了中文拼写纠错模型在利用拼音知识进行错别字拼写纠正时，能避免拼音知识对形近字类型的错别字拼写纠正带来的干扰。

主权项：1.一种中文拼写纠错模型的训练方法，其特征在于：包括以下步骤：获取拼音语料和原始词表，通过所述拼音语料对原始词表进行扩充，获得拼音组合词表；获取初始大语言模型，并基于所述拼音组合词表进行初始预训练；构建以拼音为中枢语言的拼音-文本训练数据和拼音掩码训练数据，以根据预设对齐任务对初始大语言模型进行继续预训练；所述预设对齐任务包括拼音到文本对齐任务、文本到拼音对齐任务和拼音掩码对齐任务；其中，构建以拼音为中枢语言的拼音－文本训练数据和拼音掩码训练数据，以根据预设对齐任务对初始大语言模型进行继续预训练，具体包括以下步骤：将中文语料对应的中文序列和对应的拼音序列进行组合，获得拼音－文本训练数据；所述拼音－文本训练数据包括中文序列SEP拼音序列和拼音序列SEP中文序列；从中文序列中抽取占比为第一预设比例的中文词元，并获取抽取出的中文词元对应的拼音词元，以拼音词元代替抽取的中文词元，获得拼音掩码序列；将中文序列和拼音掩码序列组合，获得拼音掩码训练数据；所述拼音掩码训练数据为拼音掩码序列SEP中文序列；通过拼音－文本训练数据对初始大语言模型进行拼音到文本对齐任务和文本到拼音对齐任务的继续预训练，并通过拼音掩码训练数据对初始大语言模型进行拼音掩码对齐任务的继续预训练；构建基于思维链的第一指令数据和基于角色的第二指令数据，根据所述第一指令数据和第二指令数据对完成预训练的初始大语言模型进行微调，获得中文拼写纠错模型；其中，构建基于思维链的第一指令数据，具体包括：确定拼写的错误类型；获取字音混淆集和字形混淆集，从中文序列中抽取占比为第三预设比例的中文词元，并将抽取的中文词元分别替换为不同的错误类型对应的字音混淆集和字形混淆集中的错误词元，获得字音错误序列和字形错误序列；根据字音错误序列和字形错误序列分别确定对应的字音错误拼音序列和字形错误拼音序列，并构建中文序列、字音错误序列、字音错误拼音序列以及对应的错误类型组成的第一四元组标注数据，以及构建中文序列、字形错误序列、字形错误拼音序列以及对应的错误类型组成的第二四元组标注数据；构建基于思维链的字音指令模板和字形指令模板，并将第一四元组标注数据和第二四元组标注数据分别填入字音指令模板和字形指令模板，获得不同类型的第一指令数据。

全文数据：

权利要求：

百度查询： 北京澜舟科技有限公司 中文拼写纠错模型的训练方法以及存储介质