买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中电万维信息技术有限责任公司

摘要：本发明公开一种基于大语言模型token的文本通用程度评分方法。开源tokens收集汇总的方式，旨在充分利用现有大模型训练的通用tokens，形成一种判断文本通用程度的计算方法，本专利的创新点主要体现在设计了一种业界尚未实现的技术思路来评估文本通用程度。本专利通过当前业界简单的操作组合，即可实现判断一个文本通用程度评分方法，但是和传统业界的实现思路完全不同，且思路方案至今未被业界所提出，同时计算实现简单，同时本身能力且有实际价值，判断是否当前文本存在知识明显迁移，从而判断是否需要训练大模型。

主权项：1.一种基于大语言模型token的文本通用程度评分方法，其特征在于包括如下步骤：S1.收集开源通用大模型的tokens文本数据集通过SentencePiece训练一个词表，各个开源通用大模型的tokens为通用语料中训练得到，将开源的大模型的tokens汇总为词表，基于这些词表采用通用词典分词算法分词，将会得到压缩比；S2.汇总开源通用大模型的tokens将开源大模型的tokens汇总，导入开源大模型的tokenizer的Tokenizer函数，Tokenizer加载tokenizer.model文件，根据开源大模型的词表大小，针对每个索引反解码对应的token，即代码tokenizer.decode[index]，然后将所有解码的token存放到token_LLM_MMM.txt中；收集多个开源通用大模型的tokens，然后放入一个txt文件中，同时去除重复的token，从而形成通用大模型词表；S3.基于开源大模型预训练数据集计算平均文本压缩比基于开源高质量大模型预训练数据集，当前文本字符长度为len_chars,经过S3汇总开源通用tokens通过最大逆向匹配分词算法分词后的长度为len_tokens，压缩比即len_tokenslen_chars，通常该数小于1，采用逆向最大匹配分词算法将上述tokens.txt中收集的开源通用大模型的tokens进行分词计算，匹配到则分词，上述操作即文本token化token分词压缩比Ratio_ave_press代表当前通用的tokens针对通用的语料平均压缩的程度；S4.制定文本通用程度评分规则当前用户待测试文本记为：Text，该文本的经过token化，计算压缩比记为：Ratio_Text_press，则本专利制定的文本通用程度评分公式为： 也即当用户测试文本高于平均压缩比，则分数快速下降，代表该文本通用程度低。

全文数据：

权利要求：

百度查询： 中电万维信息技术有限责任公司 一种基于大语言模型token的文本通用程度评分方法