买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州玳数科技有限公司

摘要：本发明涉及大数据技术领域，为解决目前数据库工具在大批量构建数据时效率较低、资源消耗较大的技术问题，提出了一种数据构建方法，该方法包括以下步骤：通过yaml配置文件来配置数据库和DAGScheduleX接口请求信息；读取yaml配置文件中的数据库配置信息；通过读取的数据库配置信息创建对应的数据库写入表信息；根据所述数据库配置信息和所述数据库写入表信息构建数据同步任务的Json；读取DAGScheduleX接口请求信息，使用HTTP请求DAGScheduleX创建数据同步任务。本发明能够快速高效地构建大批量的数据，且资源消耗较低。

主权项：1.一种数据构建方法，其特征在于，包括以下步骤：通过yaml配置文件来配置数据库和DAGScheduleX接口请求信息；读取yaml配置文件中的数据库配置信息；通过读取的数据库配置信息创建对应的数据库写入表信息；根据所述数据库配置信息和所述数据库写入表信息构建数据同步任务的Json；读取DAGScheduleX接口请求信息，使用HTTP请求DAGScheduleX创建数据同步任务，其中，使用yamlFunc读取yaml配置文件中的数据库配置信息，使用dbFunc通过读取的数据库配置信息创建对应的数据库写入表信息，使用JsonFunc根据所述数据库配置信息和所述数据库写入表信息构建数据同步任务的Json，使用yamlFunc读取DAGScheduleX接口请求信息，通过requestsFunc使用HTTP请求DAGScheduleX创建数据同步任务，所述数据库写入表信息包括表名称和表类型，根据所述数据库配置信息和所述数据库写入表信息构建数据同步任务的Json，具体包括：使用JsonFunc读取表名称和表类型，通过表名称和表类型构建Writer的Column参数，并结合从所述yaml配置文件中读取的数据库配置信息，构建数据同步任务Writer部分的Json；使用JsonFunc读取表名称和表类型，通过表名称和表类型构建Reader的Column参数，读取所述yaml配置文件中插入数据量参数，构建数据同步任务Reader部分的Json；读取所述yaml配置文件中作业并发度，构建数据同步任务Setting部分的Json；将Reader、Writer、Setting三个部分的Json构建成数据同步任务的Json。

全文数据：

权利要求：

百度查询： 杭州玳数科技有限公司 数据构建方法