买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市普渡科技有限公司

摘要：本发明公开了一种分词方法、系统及装置，涉及文本处理领域，在获取到包含有多个文本内容的数据集后，利用预设词汇库对数据集中的每个文本内容进行基于预设级别的分词，得到X个分词成功的字符的分词结果和Y个分词失败的字符；对于分词失败的字符，将各个分词失败的字符的唯一标识编码作为对应的分词失败的字符的分词结果，唯一标识编码是一个能够准确表示该分词失败的字符的元素，算法模型根据该唯一标识编码能够识别出该分词失败的字符，基于此，通过确定各个分词失败的字符的唯一标识编码，能够对数据集中的所有不存在于预设词汇库中的字符进行分词，使得数据集中的每个字符都有其对应的分词结果，使得算法模型能够识别数据集中的每个字符。

主权项：1.一种分词方法，其特征在于，包括：获取包含多个文本内容的数据集；利用预设词汇库对所述数据集中的各个文本内容进行基于预设级别的分词，得到X个分词成功的字符的分词结果和Y个分词失败的字符，X和Y均为整数且X与Y的数量和为所述数据集的所有文本内容中字符的总数量；确定各个分词失败的所述字符对应的唯一标识编码；将所述唯一标识编码作为对应的分词失败的所述字符的分词结果；其中，所述预设词汇库中存储有N个字符和M个第一字符组合，N和M为不同时为零的整数；在获取包含多个文本内容的数据集之后，还包括：S21：在所有所述文本内容的所有字符中确定由多个所述字符组成的第二字符组合以及各个所述第二字符组合重复的个数；S22：判断所述预设词汇库中存储的第一字符组合的总数量是否小于预设数量，若小于预设数量，则进入S23；若不小于预设数量，则进入S26；S23：判断重复个数最多的所述第二字符组合是否存在于所述预设词汇库中，若不存在于所述预设词汇库中，则进入S24；若存在于所述预设词汇库中，则进入S25；S24：将重复个数最多的所述第二字符组合存储到所述预设词汇库中，并将重复个数仅小于重复个数最多的所述第二字符组合的第二字符组合作为新的重复个数最多的所述第二字符组合，返回S22；S25：将重复个数仅小于重复个数最多的所述第二字符组合的第二字符组合作为新的重复个数最多的所述第二字符组合，返回S22；S26：确定对所述预设词汇库的第一字符组合的数量更新完成。

全文数据：

权利要求：

百度查询： 深圳市普渡科技有限公司 分词方法、系统及装置