买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京科杰科技有限公司

摘要：本发明涉及大数据Hive技术领域，尤其涉及一种网络化的Hive表数据加载方法，包括：在客户端主机中保存服务端接受客户端主机的文件的系统路径；解析出用户名和密码；使用所述服务端尝试访问子目录，捕获尝试访问中出现的异常访问的捕获次数；在所述客户端主机名与所述服务端主机名相同或加载指令未携带用户名和密码时直接从本地目录读取数据导入所述Hive表。本发明通过加密传输减少了数据泄露的风险，显著提升了数据加载的安全性，同时，通过自动化的远程加载流程和智能优化的数据移动任务，提高了操作的效率和数据加载的性能，服务端的实时监控和错误恢复机制进一步增强了数据加载的可靠性，确保了即使在出现问题时也能快速响应和解决。

主权项：1.一种网络化的Hive表数据加载方法，其特征在于，包括：步骤S1，在Hive客户端主机的配置文件中通过增加服务端参数保存服务端接受Hive客户端主机的文件的系统路径，并使用加载指令指定所述服务端接受所述Hive客户端主机的文件的系统路径；步骤S2，通过在加载指令前添加Hive客户端主机的用户名和密码修改Hive客户端主机的加载指令的格式，并在Hive客户端主机执行加载指令时，将用户名和密码加密后发送给所述服务端；步骤S3，在所述服务端接收到修改后的加载指令、加密后的用户名以及密码时，在所述服务端中增加对修改后的加载指令的格式的解析能力，并根据增加解析能力后的服务端解析出用户名和密码，并进行验证，在验证通过时，执行远程加载流程，所述远程加载流程包括，使用SCP文件传输协议将文件从Hive客户端主机拷贝到所述服务端指定的系统路径下，并创建以所述Hive客户端主机的会话ID命名的子目录，并在文件拷贝完成后，继续执行加载指令的剩余部分，将文件导入到Hive客户端主机中的Hive表中；在验证未通过时，返回给所述Hive客户端主机相对应的异常提示信息；步骤S4，对比所述Hive客户端主机名与所述服务端主机名，若所述Hive客户端主机名与所述服务端主机名相同，或，加载指令未携带用户名和密码，则按常规本地load方式处理，直接从本地目录读取数据导入所述Hive表；在所述步骤S4中，还使用所述服务端尝试访问本地路径，在捕获次数大于预设的异常捕获次数时，使用所述服务端检查指定的本地文件路径是否真实存在，若所述本地文件路径不存在，使用所述服务端向所述Hive客户端主机发送错误提示信息，并重新创建本地文件路径，并在所述服务端再次访问重新创建的本地文件路径失败时调整异常捕获次数；步骤S5，在所示Hive客户端主机名与服务端主机名不同时，且加载指令携带了用户名和密码，则使用所述服务端继续执行所述步骤S3中的远程加载流程；在所述步骤S4中，使用所述服务端检查指定的本地文件路径是否真实存在，设置有异常捕获次数，使用所述服务端从客户端接收到的加载指令中提取本地文件路径，并根据预设的非法字符集检查本地文件路径是否包含非法字符，在不包含非法字符时，使用所述服务端对本地文件路径进行尝试访问，并在尝试访问预设的访问时长内，捕获任意因权限不足而抛出的异常或错误，并记录捕获次数，对比捕获次数和异常捕获次数，若捕获次数大于异常捕获次数，使用所述服务端向所述Hive客户端主机发送权限不足的提示信息；在捕获次数小于等于异常捕获次数时，使用所述服务端查询文件系统，确认本地文件路径是否存在，若本地文件路径不存在，使用所述服务端向所述Hive客户端主机发送错误提示信息，查看最近使用的文件列表，若文件列表不存在本地文件路径，则重新创建本地文件路径，并使用所述服务端访问重新创建的本地文件路径，若捕获次数大于异常捕获次数，则判定异常捕获次数设置异常，降低调整异常捕获次数，X’=X×a，其中，X’为调整后的异常捕获次数，X为设置的异常捕获次数，a为调整比例系数。

全文数据：

权利要求：

百度查询： 北京科杰科技有限公司 一种网络化的Hive表数据加载方法