买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京科杰科技有限公司

摘要：本发明涉及大数据Hive技术领域，尤其涉及一种网络化的Hive表数据加载方法，包括：在客户端主机中保存服务端接受客户端主机的文件的系统路径；解析出用户名和密码；使用所述服务端尝试访问子目录，捕获尝试访问中出现的异常访问的捕获次数；在所述客户端主机名与所述服务端主机名相同或加载指令未携带用户名和密码时直接从本地目录读取数据导入所述Hive表。本发明通过加密传输减少了数据泄露的风险，显著提升了数据加载的安全性，同时，通过自动化的远程加载流程和智能优化的数据移动任务，提高了操作的效率和数据加载的性能，服务端的实时监控和错误恢复机制进一步增强了数据加载的可靠性，确保了即使在出现问题时也能快速响应和解决。

主权项：1.一种网络化的Hive表数据加载方法，其特征在于，包括：步骤S1，在客户端主机的配置文件中通过增加服务端参数保存服务端接受客户端主机的文件的系统路径，并使用加载指令指定所述服务端接受的客户端主机的文件的系统路径，通过在加载指令前添加客户端主机的用户名和密码以修改客户端主机的加载指令的格式；步骤S2，在所述服务端接收到修改后的加载指令、加密后的用户名以及密码时，解析出用户名和密码，并在所述客户端主机名和当前的服务端的服务端主机名不一致且加载指令中携带用户名和密码时，执行远程加载流程，所述远程加载流程包括，使用SCP文件传输协议将文件从客户端主机拷贝到所述服务端指定的系统路径下，并创建以所述客户端主机的会话ID命名的子目录，并在文件拷贝完成后，继续执行加载指令的剩余部分，将文件导入到客户端主机中的Hive表中；步骤S3，在创建子目录后，使用所述服务端尝试访问子目录，捕获尝试访问中出现的异常访问的捕获次数，在捕获次数大于预设的异常捕获次数时，使用所述服务端检查指定的子目录是否真实存在，若所述子目录不存在，使用所述服务端向所述客户端主机发送错误提示信息，并重新创建所述子目录，并在所述服务端再次访问重新创建的子目录失败时；根据预设的调整比例系数调整异常捕获次数；步骤S4，在所述客户端主机名与所述服务端主机名相同，或，加载指令未携带用户名和密码时，则按常规本地load方式处理，直接从本地目录读取数据导入所述Hive表。

全文数据：

权利要求：

百度查询： 北京科杰科技有限公司 一种网络化的Hive表数据加载方法