买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中移信息技术有限公司;中国移动通信集团有限公司

摘要：本发明实施例公开了一种数据处理方法、装置、设备及存储介质，该方法包括：获取第一样本集中非数值型和或离散型的字段数据；对字段数据进行降维，得到与第一样本集相关的边界样本集；根据第一样本集中每个样本的概率值，确定随机样本的至少一个近邻样本；基于至少一个近邻样本和边界样本集，生成包括少数类样本的第二样本集。能够解决在保证整体分类准确度稳定的前提下，提高少数类样本集分类的准确性的问题。

主权项：1.一种数据处理方法，其特征在于，包括：获取第一样本集中非数值型和或离散型的字段数据；对所述字段数据进行降维，得到与所述第一样本集相关的边界样本集；根据所述第一样本集中每个样本的概率值，确定随机样本的至少一个近邻样本，其中，所述概率值表示样本代表的用户处于离网状态或在网状态；基于所述至少一个近邻样本和所述边界样本集，生成包括少数类样本的第二样本集；确定所述每个样本的概率值，包括：将所述第一样本集划分为第一训练集和第一预测集，所述第一训练集中包括多个样本；通过梯度提升决策树GBDT算法对所述第一预测集进行预测，得到所述第一预测集中每个样本的概率值；将所述第一样本集确定为第二预测集，以及将所述第一预测集确定为所述第二样本集；通过所述GBDT算法对所述第二预测集进行预测，得到所述第二预测集中每个样本的概率值；根据所述第一预测集中每个样本的概率值和所述第二预测集中每个样本的概率值，确定所述每个样本的概率值；所述方法还包括：在所述至少一个近邻样本属于所述边界样本集中的样本的情况下，通过合成少数类过采样SMOTE算法在所述随机样本和所述至少一个近邻样本对于连续数据进行差值计算，得到每个样本的第一频数值，所述第一频数值为随机样本的至少一个近邻样本中离散字段的各取值的频数；在多个第一频数值中选取满足第一预设频数条件的目标频数值；将所述目标频数值确定为所述第二样本集的频数值；所述方法还包括：在所述至少一个近邻样本中包括未属于所述边界样本集中的样本的情况下，通过遗传算法中步长变异算法在所述随机样本和所述至少一个近邻样本对于连续数据进行差值计算，得到每个样本的第二频数值，所述第二频数值为随机样本的至少一个近邻样本中离散字段的各取值的频数；在多个第二频数值中选取满足第二预设频数条件的目标频数值；将所述目标频数值确定为所述第二样本集的频数值；所述基于所述至少一个近邻样本和所述边界样本集，生成包括少数类样本的第二样本集，包括：根据所述目标频数值、所述至少一个近邻样本和所述边界样本集，生成包括少数类样本的第二样本集。

全文数据：

权利要求：

百度查询： 中移信息技术有限公司 中国移动通信集团有限公司 一种数据处理方法、装置、设备及存储介质