买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:武汉美和易思数字科技有限公司
摘要:本发明公开了一种批量启动hadoop集群的方法、系统及介质,该方法包括:接收启动命令,并将启动命令并行发送到多个hadoop集群,对各个hadoop集群中的namenode节点进行启动;监测多个hadoop集群中的namenode节点中是否存在启动失败的异常节点,若存在则输出异常提示信息;在异常排除后,若接收到再次启动命令,则基于再次启动命令,对异常节点进行启动,直到多个hadoop集群中的namenode节点均启动成功。本发明确保各个hadoop集群中的各个namenode优先启动,节省了等待各个hadoop集群中所有节点的启动时间,有利于各个hadoop集群整体上处理效率的提高。
主权项:1.一种批量启动hadoop集群的方法,其特征在于,所述批量启动hadoop集群的方法包括:接收启动命令,并将所述启动命令并行发送到多个hadoop集群,对各个所述hadoop集群中的namenode节点进行启动;监测多个所述hadoop集群中的namenode节点中是否存在启动失败的异常节点,若存在异常节点,获取所述异常节点的状态信息,并根据所述状态信息输出异常提示信息,包括:读取与所述异常节点对应的ip地址和对应的主机名,并监测所述ip地址和所述主机名之间的映射关系是否绑定成功,若未绑定成功,则输出将所述映射关系重新绑定的异常提示信息;读取所述异常节点中存放的第一id版本号,以及与所述异常节点对应datanode节点中存放的第二id版本号,判断所述第一id版本号与所述第二id版本号是否一致,若不一致,则输出将所述第一id版本号和所述第二id版本号调整为一致的异常提示信息;读取与所述异常节点对应的配置文件,并检测所述配置文件的配置是否成功,若所述配置文件的配置未成功,则查找所述配置文件中未成功配置的信息,并输出对未成功配置的信息进行重新配置的异常提示信息;其中所述状态信息包括拦截状态信息、安全模式状态信息以及格式化状态信息;若所述拦截状态信息携带有拦截标识,则判定与所述异常节点对应的拦截机制启动,输出将所述拦截机制关闭的异常提示信息;若所述安全模式状态信息携带有安全标识,则判定与所述异常节点对应的安全模式启动,输出将所述安全模式关闭的异常提示信息;若所述格式化状态信息未携带格式化标识,则判定所述异常节点未经格式化处理,输出将所述异常节点格式化的异常提示信息;对与启动成功的namenode节点对应的datanode节点进行启动;在与所述异常提示信息对应的异常排除后,若接收到再次启动命令,则查找多个所述hadoop集群的namenode节点中未返回心跳的namenode节点,并基于所述再次启动命令,对未返回心跳的所有namenode节点进行启动,直到多个所述hadoop集群中的namenode节点均启动成功。
全文数据:
权利要求:
百度查询: 武汉美和易思数字科技有限公司 批量启动hadoop集群的方法、系统及可读存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。