首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于深度学习的中文拼写纠错方法及系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:云海时空(北京)科技有限公司

摘要:本发明公开了一种基于深度学习的中文拼写纠错方法及系统,本发明从语义、字形和字音三个维度上,来提取出文本中每个字符的特征;而后,通过包含有拼写检测网络和拼写纠错网络的中文拼写纠错模型,并结合文本的BERT嵌入向量,以及文本中每个字符的语义、字形和字音特征,来进行文本的纠错处理,从而在纠错处理后,得到纠错后的文本;基于此,本发明在传统基于语义信息进行文本纠错的基础上,额外增加了字符的字音和字形特征,如此,基于多维度的字符特征来进行文本纠错处理,可提高纠错的准确性和可靠性,因此,非常适用于在中文拼写纠错领域的大规模应用与推广。

主权项:1.一种基于深度学习的中文拼写纠错方法,其特征在于,包括:获取目标中文文本以及所述目标中文文本的BERT嵌入向量;对所述目标中文文本进行字符分割,得到所述目标中文文本中的每个字符;对每个字符依次进行语义特征提取处理、字形特征提取处理以及字音特征提取处理,以分别得到每个字符对应的语义特征向量、字形特征向量和字音特征向量;获取中文拼写纠错模型,其中,所述中文拼写纠错模型包括拼写检测网络和拼写纠错网络;将所述BERT嵌入向量输入至所述中文拼写纠错模型中的拼写检测网络中,得到所述目标中文文本的拼写检测结果序列,其中,所述拼写检测结果序列中包含有目标中文文本内每个字符的拼写检测标签,且任一字符的拼写检测标签用于表征该任一字符拼写正确或拼写错误;基于所述BERT嵌入向量,确定出每个字符的BERT嵌入分量,并利用所述拼写检测结果序列,以及每个字符的BERT嵌入分量、语义特征向量、字形特征向量和字音特征向量,构建出每个字符的综合特征向量;将每个字符的综合特征向量,输入至所述中文拼写纠错模型中的拼写纠错网络中进行拼写纠错处理,以得到所述目标中文文本的纠错文本;对每个字符进行字形特征提取处理,以得到每个字符的字形特征向量,包括:对于所述目标中文文本中的任一字符,将所述任一字符转换为字形码和形音码;获取字形特征提取模型,其中,所述字形特征提取模型是以多个训练字符的样本字形码和样本形音码为输入,各个训练字符的样本初始字形特征向量和样本初始形音特征向量为输出而训练得到;将所述任一字符的字形码和形音码,分别输入至所述字形特征提取模型,以得到所述任一字符对应的初始字形特征向量和初始形音特征向量;计算出初始字形特征向量的第一融合权重以及初始形音特征向量的第二融合权重;根据所述第一融合权重、所述第二融合权重、所述初始字形特征向量和所述初始形音特征向量,确定出所述任一字符的字形特征向量;计算出初始字形特征向量的第一融合权重以及初始形音特征向量的第二融合权重,包括:采用如下公式1,计算出所述初始字形特征向量的第一融合权重,以及采用如下公式2,计算出所述初始形音特征向量的第二融合权重; 上述公式1中,γz表示所述第一融合权重,xz表示初始字形特征向量,xy表示初始形音特征向量,a1和b1表示第一调整因子,a2和b2表示第二调整因子,σ表示sigmod函数;上述公式2中,γy表示所述第二融合权重;相应的,根据所述第一融合权重、所述第二融合权重、所述初始字形特征向量和所述初始形音特征向量,确定出所述任一字符的字形特征向量,则包括:采用如下公式3,确定出所述任一字符的字形特征向量;Xz=γzxz+γyxy3上述公式3中,Xz表示所述任一字符的字形特征向量。

全文数据:

权利要求:

百度查询: 云海时空(北京)科技有限公司 一种基于深度学习的中文拼写纠错方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术