买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:杭州数梦工场科技有限公司
摘要:本申请提供一种数据抽取方法及装置,应用于ETL工具;所述方法包括:响应于针对待抽取数据的数据交换任务的开始指令,向数据源端发送针对所述待抽取数据的数据抽取请求;其中,所述数据源端是基于分布式文件系统、以数据块为单位实现数据存储的;接收并记录所述数据源端返回的与所述待抽取数据对应的若干数据块的数据块信息;分别接收与所述若干数据块中的每个数据块对应的抽取开始消息以及抽取结束消息;如果接收到与所述若干数据块中的每个数据块对应的抽取开始消息和抽取结束消息,则确定所述待抽取数据已完成抽取,从而确定所述数据交换任务已执行成功。
主权项:1.一种数据抽取方法,其特征在于,应用于ETL工具;所述ETL工具用于执行将数据源端存储的数据经过抽取、转换、加载到目的端的数据交换任务;其中,所述数据源端是基于分布式文件系统、以数据块为单位实现数据存储的;所述方法包括:响应于针对待抽取数据的数据交换任务的开始指令,向所述数据源端发送针对所述待抽取数据的数据抽取请求;以使所述数据源端获取与所述待抽取数据对应的若干数据块的数据块信息,并向所述ETL工具返回所述数据块信息;接收并记录所述数据源端返回的与所述待抽取数据对应的若干数据块的数据块信息;分别接收与所述若干数据块中的每个数据块对应的抽取开始消息以及抽取结束消息;其中,所述抽取开始消息用于指示开始抽取对应的数据块中存储的数据;所述抽取结束消息用于指示已完成抽取对应的数据块中存储的数据;如果接收到与所述若干数据块中的每个数据块对应的抽取开始消息和抽取结束消息,则确定所述待抽取数据已完成抽取,从而确定所述数据交换任务已执行成功。
全文数据:
权利要求:
百度查询: 杭州数梦工场科技有限公司 一种数据抽取方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。