买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京火山引擎科技有限公司
摘要:本申请公开了一种Iceberg中数据处理方法、装置、存储介质及设备,该方法包括:首先在创建Iceberg数据表时,在数据表的元数据文件中添加分桶信息,然后,在Iceberg中执行目标数据的处理操作时,根据分桶信息,对目标数据进行列级别的哈希计算,得到哈希值;接着,可以根据该哈希值,结合分桶信息,确定目标分桶,并在目标分桶中进行相应的数据处理操作,得到最终的数据处理结果。可见,由于本申请是先在创建Iceberg表时,在元数据中添加了分桶信息,这样,新增数据可以按照列级别的哈希值存储到不同的分桶中,并且,在进行数据更新、删除、查询等操作时,也不再不局限于分区表,通过列级别的分桶值,可以更加快速查询出数据位置,从而能够提高Iceberg中数据的处理效率。
主权项:1.一种Iceberg中数据处理方法,其特征在于,所述方法包括:在创建Iceberg数据表时,在所述数据表的元数据文件中添加分桶信息;在所述Iceberg中执行目标数据的处理操作时,根据所述分桶信息,对所述目标数据进行列级别的哈希计算,得到哈希值;根据所述哈希值,结合所述分桶信息,确定目标分桶,并在所述目标分桶中进行相应的数据处理操作,得到数据处理结果。
全文数据:
权利要求:
百度查询: 北京火山引擎科技有限公司 一种Iceberg中数据处理方法、装置、存储介质及设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。