买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州未名信科科技有限公司;浙江省北大信息技术高等研究院

摘要：本发明公开了一种基于Py4j服务的在线数据处理方法、装置、存储介质及终端，方法包括：在当前Java进程中配置并初始化Python进程池；其中，初始化Python进程池时至少通过Py4j服务创建Java进程与Python进程间的通信信道；Java进程在接收到用户请求时生成控制信息；Java进程根据控制信息控制Spark组件加载并预处理用户请求对应的响应数据，生成中间结果；Java进程将控制信息与中间结果通过通信信道发送至Python进程；Python进程接收到控制信息与中间结果时，根据控制信息将中间结果处理成最终结果后回传至Java进程；Java进程在接收到最终结果时，将最终结果处理后填充至与其对应的前端页面进行展示。因此，采用本申请实施例，可以降低系统的开发维护成本，提升数据处理效率。

主权项：1.一种基于Py4j服务的在线数据处理方法，其特征在于，所述方法包括：在当前Java进程中配置并初始化Python进程池；其中，所述初始化Python进程池时至少通过Py4j服务创建所述Java进程与Python进程间的通信信道；所述Java进程在接收到用户请求时生成控制信息；其中，所述在当前Java进程中配置并初始化Python进程池，包括：采用对象池组件作为基础组件；根据所述基础组件在当前Java进程中构建Python进程池；其中，所述Python进程池是基于预先自定义的进程加载器进行进程管理；所述进程加载器初始化所述Python进程池；其中，所述进程加载器初始化所述Python进程池，包括：进程加载器启动Py4j服务；进程加载器根据预设配置信息，并通过ProcessBuilder函数启动Python进程；进程加载器当所述Python进程启动后，所述Python进程针对所述Py4j服务发送连接请求，并根据所述连接请求连接至所述Py4j服务后生成通信信道；进程加载器控制所述Python进程获取所述Java进程中的SparkContext函数，并根据所述SparkContext函数构建PySparkContext函数；其中，所述PySparkContext函数用于实现SparkDriver函数复用；进程加载器控制所述Python进程处于进程等待状态；所述Java进程根据所述控制信息控制Spark组件加载并预处理所述用户请求对应的响应数据，生成中间结果；所述Java进程将所述控制信息与所述中间结果通过所述通信信道发送至所述Python进程；所述Python进程接收到所述控制信息与所述中间结果时，根据所述控制信息将所述中间结果处理成最终结果后回传至所述Java进程；所述Java进程在接收到所述最终结果时，将所述最终结果处理后填充至与其对应的前端页面进行展示。

全文数据：

权利要求：

百度查询： 杭州未名信科科技有限公司 浙江省北大信息技术高等研究院 一种基于Py4j服务的在线数据处理方法、装置、存储介质及终端