申请/专利权人：浪潮软件股份有限公司

申请日：2024-04-10

公开（公告）日：2024-06-21

公开（公告）号：CN118034672B

主分类号：G06F8/34

分类号：G06F8/34;G06F8/71

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.05.31#实质审查的生效;2024.05.14#公开

摘要：本发明公开一种基于Spark的可视化数据处理分析方法及系统，涉及大数据处理数据技术领域；包括：步骤1：建立基于Spark的可视化数据处理分析系统，步骤2：通过可视化数据处理分析系统进行可视化数据处理分析：脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，脚本生成模块根据Spark脚本配置生成Spark脚本，脚本管理模块管理Spark脚本，执行管理模块进行脚本提交、执行和监控，结果分析模块进行Spark脚本执行结果的分析，可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，存储模块存储数据；本发明提高开发效率，降低开发成本和错误率，提高系统的可维护性和可扩展性。

主权项：1.一种基于Spark的可视化数据处理分析方法，其特征是包括：步骤1：建立基于Spark的可视化数据处理分析系统，所述可视化数据处理分析系统包括脚本设计工作台模块、可视化展示及数据发布模块、脚本生成模块、脚本管理模块、执行管理模块、结果分析模块和存储模块，步骤2：通过可视化数据处理分析系统进行可视化数据处理分析：通过脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，包括：选取Spark的数据分析相关组件，所述数据分析相关组件包括全局参数组件、逻辑运算组件、输入输出组件、SQL处理组件、MapReduce组件、图计算组件、聚类组件和回归组件，根据数据分析相关组件完成Spark脚本配置,通过脚本生成模块根据Spark脚本配置生成Spark脚本，通过脚本管理模块管理Spark脚本，进行版本管理、Spark脚本功能调试以及Spark脚本的编辑和镜像复制，通过执行管理模块进行脚本提交、执行和监控，包括：根据Spark脚本需要执行的任务，通过执行管理模块自动创建对应的执行环境和提交任务，并且查看任务的执行次数、运行状态和处理的数据,通过结果分析模块进行Spark脚本执行结果的分析，通过可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，通过存储模块存储可视化数据处理分析过程中涉及的数据。

全文数据：

权利要求：

百度查询： 浪潮软件股份有限公司 一种基于Spark的可视化数据处理分析方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD