买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南方电网数字电网研究院有限公司

摘要：本发明公开的属于数据加工技术领域，具体为一种数据查看引擎动态调用方法，包括具体步骤如下：读取用作分析的数据表：用户通过一种编程语言，从数据源中读取要分析用的数据表，其中，编程语言为sql、R、Python中的其中一种；建立不同的计算处理引擎来处理不同级别的数据量来进行预览和执行，预览为取部分数据进行处理，执行为取全部数据进行处理，用于预览的资源为单机服务器配置，资源消耗较小支持用户并发数较大，本发明提升了查看数据的效率，相对于单线程计算引擎，分布式计算引擎在计算过程中增加了数据分块和资源管理的过程，对于小数据量来说这些反而增加了负担，因此对于小数据量的计算，单线程引擎更加有效。

主权项：1.一种数据查看引擎动态调用方法，其特征在于，包括具体步骤如下：S1，读取用作分析的数据表：用户通过一种编程语言，从数据源中读取要分析用的数据表，其中，编程语言为sql、R、Python中的其中一种；S2，建立不同的计算处理引擎来处理不同级别的数据量来进行预览和执行，预览为取部分数据进行处理，执行为取全部数据进行处理，用于预览的资源为单机服务器配置，资源消耗较小支持用户并发数较大，全部数据的执行基于多服务器的Hadoop的分布式计算引擎实现，用于执行的资源为服务器集群配置，资源消耗较大且并发用户较小，根据两种配置初始化不同两级的处理引擎，为后续用户操作提供数据处理支持，所述服务器集群处理的数据量为10000条以上记录，其中，当服务器集群需要增加并发时，则需要增加服务器配置；S3，用户针对要进行的数据处理、数据探索、数据建模操作选择查看结果的方式，数据处理是指用户使用编程语言，对数据进行加工处理，即进行各种行之间或列之间的操作，包括去除缺失值、派生新字段，数据探索是指生成图形，包括使用指定的列作图，数据建模是指从数据中寻找并量化特定的规律，而在进行操作时，用户会面临如下三种操作场景：场景一：用户对数据做了处理，想查看数据处理的结果；场景二：用户数据生成了可视化图形、图表，想查看可视化结果；场景三：用户使用数据挖掘算法应用全部数据进行建模；针对三种用户场景，查看数据的需求是有差异的：针对场景一，用户查看数据的目的是确认操作结果是否正确且有效，在这种情况下，考虑到数据量非常大，用户只需要查看部分数据，也就是通过预览即可掌握操作的结果是否正确且有效；针对场景二，图形和报表的生成需要用到全部数据实现；针对场景三，应用数据挖掘算法建模的过程需要用到全部数据，因此查看建模结果需要用到全部数据才能实现；S4，针对不同的用户场景调用S2提供的不同的计算引擎实现数据查看，以提高资源利用效率；如果操作是场景一，则从全部数据中抽取前n条数据，可以根据用户的选择进行配置，此时数据量小，应用单机服务器配置的计算引擎就可以进行计算，即将选中的数据全部交给一台服务器来做计算，将计算结果返回并提供给用户预览；如果操作是场景二或场景三则使用服务器集群类进行计算，也就是将全部数据划分成若干小块，给集群中的每台服务器分配其中的一块任务，任务分头执行完毕后，将每一块的结果进行汇总，形成全部数据的结果，并将结果提供给用户查看；S5，将S4的计算结果展示给用户查看。

全文数据：

权利要求：

百度查询： 南方电网数字电网研究院有限公司 一种数据查看引擎动态调用方法