买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：智慧芽信息科技(苏州)有限公司

摘要：本公开提供了一种文本处理方法及装置、模型训练方法及装置，涉及数据处理技术领域。该文本处理方法包括：基于第一语言文本确定第一语言文本模块，并基于第二语言文本确定第二语言文本模块；分别对第一语言文本模块和第二语言文本模块进行句词拆分操作，以生成多个第一语言文本单元和多个第二语言文本单元；基于多个第一语言文本单元和多个第二语言文本单元确定第一语言文本模块和第二语言文本模块对应的平行句对。本公开充分利用了文本的结构特征，并借助了句词拆分操作将相应的文本模块转换为包括碎片化的分句分词的文本单元，因此，本公开能够充分顾及句子间的潜在语义信息，进而能够有效提升平行句对的构建效果。

主权项：1.一种文本处理方法，其特征在于，包括：基于第一语言文本确定第一语言文本模块，并基于第二语言文本确定第二语言文本模块，其中，所述第一语言文本和所述第二语言文本为双语同族专利文本，或者，所述第一语言文本和所述第二语言文本为同一篇论文的双语文本，所述第一语言文本模块与所述第二语言文本模块在文本结构层面呈对应关系；分别对所述第一语言文本模块和所述第二语言文本模块进行句词拆分操作，以生成多个第一语言文本单元和多个第二语言文本单元；基于所述多个第一语言文本单元和所述多个第二语言文本单元确定所述第一语言文本模块和所述第二语言文本模块对应的平行句对；其中，所述基于第一语言文本确定第一语言文本模块，并基于第二语言文本确定第二语言文本模块，包括：分别对所述第一语言文本和所述第二语言文本进行文本结构拆分操作，以生成第一语言文本模块和第二语言文本模块，所述文本结构拆分操作指的是对所述第一语言文本和所述第二语言文本进行文本结构层面的拆分操作；其中，所述基于所述多个第一语言文本单元和所述多个第二语言文本单元确定所述第一语言文本模块和所述第二语言文本模块对应的平行句对，包括：针对所述多个第一语言文本单元中的每个第一语言文本单元，基于所述多个第二语言文本单元，利用预设人工词典确定所述第一语言文本单元对应的第一候选单元集合，其中，所述第一候选单元集合包括至少一个第二语言文本单元；针对所述第一候选单元集合中包括的每个第二语言文本单元，递归计算基于统计的分数，得到所述第二语言文本单元对应的统计分数信息；基于所述统计分数信息确定所述第一语言文本单元对应的第二候选单元集合；基于所述多个第一语言文本单元各自对应的第二候选单元集合确定所述平行句对。

全文数据：

权利要求：

百度查询： 智慧芽信息科技(苏州)有限公司 文本处理方法及装置、模型训练方法及装置