首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种大数据管理平台CDH自动化部署方法、装置和系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:湖北省数字产业发展集团有限公司

摘要:本发明涉及大数据应用技术领域,提供了一种大数据管理平台CDH自动化部署方法、装置和系统。节点协调处理程序会通过shell脚本自动在主服务器上进行ClouderaManagerServer的部署,主服务器作为CDH的管理节点,等待管理节点ClouderaManagerServer部署成功后,通知其他节点上的shell脚本开始执行各自ClouderaManagerAgent的部署,脚本会配置主服务器中ClouderaManagerServer和其他各节点的服务器中ClouderaManagerAgent的自动重启。本发明会使得所有组件的子模块合理分布在不同节点上,从而使得集群整体性能达到最优。

主权项:1.一种大数据管理平台CDH自动化部署方法,其特征在于,包括:在多台作为节点的服务器中选择一台服务器作为主服务器,将节点协调处理程序以及CDH全量部署包文件拷贝到主服务器上,运行节点协调处理程序,运行时指定其他节点的ip和节点登录信息;节点协调处理程序运行后,根据ip和节点登录信息,将CDH全量部署包文件分发到其他节点的服务器上;节点协调处理程序通过shell远程控制命令,分发任务到各个节点上;其中,所述CDH全量部署包文件包括shell脚本和大数据相关组件;节点协调处理程序开始下发CDH全量部署包文件,下发过程中修改CDH全量部署包文件中的shell脚本的可执行属性,通知在每个节点上开始执行shell脚本;其中,所述可执行属性包括整个集群所有节点的内网ip;各个节点的服务器中开始执行shell脚本后处于控制台等待的操作;节点协调处理程序会通过shell脚本自动在主服务器上进行ClouderaManagerServer的部署,主服务器作为CDH的管理节点,等待管理节点ClouderaManagerServer部署成功后,通知其他节点上的shell脚本开始执行各自ClouderaManagerAgent的部署,脚本会配置主服务器中ClouderaManagerServer和其他各节点的服务器中ClouderaManagerAgent的自动重启;各个节点的服务器在完成ClouderaManagerAgent部署后,进行CDH全量部署包文件中大数据相关组件的部署;其中,所述组件包括Hdfs组件、Hive组件、Hbase组件、Yarn组件、Zookeeper组件、Sqoop组件、Hue组件和Oozie组件中的一个或者多个。

全文数据:

权利要求:

百度查询: 湖北省数字产业发展集团有限公司 一种大数据管理平台CDH自动化部署方法、装置和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。