买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏苏商银行股份有限公司

摘要：本发明提出了一种基于统计学原理的AB测试方法和装置，该方法包括如下步骤：获取上游数据；根据预设输入比例将所述上游数据随机分流至模型部署实例；获取所述生产模型和草稿模型的预测结果并缓存至第一数据库，且仅将所述生产模型的预测结果发送至下游接口；获取与所述上游数据对应的真实结果，并转化为结构化数据输入到第二数据库中；将预测结果和真实结果进行比对，获得生产模型和草稿模型的测量值，并缓存至第二数据库；对比评估所述测量值并根据预设规则修改生产模型和草稿模型的输入比例。本发明中模型可以对模型性能进行评估和对比，推荐当前最好的模型，还支持预设参数阈值，对输入模型的前端数据里进行分配，从而实现模型的替换。

主权项：1.一种基于统计学原理的AB测试方法，其特征在于，包括如下步骤：获取上游数据；根据预设输入比例将所述上游数据随机分流至模型部署实例，所述模型部署实例包括生产模型和草稿模型，所述生产模型包括主模型和多个试水模型，所述随机分流采用java.util.Random随机算法实现；获取所述生产模型和草稿模型的预测结果并缓存至第一数据库，且仅将所述生产模型的预测结果发送至下游接口；获取与所述上游数据对应的真实结果，并转化为结构化数据输入到第二数据库中；将所述第一数据库中的预测结果和第二数据库中的真实结果进行比对，获得生产模型和草稿模型的测量值，并缓存至第二数据库，所述第一数据库为REDIS数据库，所述第二数据库为HIVE数据库；对比评估所述测量值并根据预设规则修改生产模型和草稿模型的输入比例；其中，对比评估所述测量值，包括：（1）比较主模型和试水模型；（2）比较多个试水模型和草稿模型；（3）试水模型和草稿模型的事后假设检验；将所述主模型记为A，试水模型记为B，则所述比较主模型和试水模型，具体为：设零假设为A模型的测量值等于B模型的测量值，对立假设为B模型的测量值大于A模型的测量值；计算A模型和B模型在N个第一周期数据上的测量值，假设为模型A在第i个第一周期数据集上的测量值，为模型B在第i个第一周期数据集上的测量值，则A、B模型的测量值向量分别为： ；计算向量，即B模型和A模型测量值的差异， ；对从小到大进行排序，记为在所有中的序列值；计算统计量: ；当对立假设是A模型的测量值大于B模型的测量值时，使用统计量，当对立假设是B模型的测量值大于A模型的测量值时，使用统计量；当第一周期N小于第一限值时，选定阈值，在临界值表中根据n和找到对应的比较值，n为第一周期N中第n个第一周期；若统计量小于比较值，则拒绝零假设，若统计量大于或等于比较值，则无法拒绝零假设。

全文数据：

权利要求：

百度查询： 江苏苏商银行股份有限公司 一种基于统计学原理的AB测试方法和装置