恭喜湖南兴盛优选网络科技有限公司陈奉刚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜湖南兴盛优选网络科技有限公司申请的专利以对象存储为冷存储的OLAP引擎冷热分离优化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116226128B 。
龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310179302.9,技术领域涉及:G06F16/22;该发明授权以对象存储为冷存储的OLAP引擎冷热分离优化方法是由陈奉刚;管贤春;贺年春;屈军;林庭毅设计研发完成,并于2023-03-01向国家知识产权局提交的专利申请。
本以对象存储为冷存储的OLAP引擎冷热分离优化方法在说明书摘要公布了:本发明公开了以对象存储为冷存储的OLAP引擎冷热分离优化方法,包括:控制中心负责冷热的全流程控制,控制中心定时扫描分区,当分区达到冷却条件后,关闭该分区所有副本的自动合并功能,由控制中心下发冷却命令;找到合适的冷却点,挑选其中一个副本执行冷却过程,冷却点前的数据进行合并,合并过程将纯数据和元数据分离,将分离后的文件迁移到远端对象存储。共享远端冷数据:控制中心通知其他副本从远端下载元数据文件并加载,完成冷却后,启动优化后的自动合并机制。本发明同时对冷热场景进行了查询优化。本发明存储成本低,共享远端副本,解决现有副本冗余问题,可控制存储介质性能下降,支持冷分区继续写入数据的情况,提升查询效率。
本发明授权以对象存储为冷存储的OLAP引擎冷热分离优化方法在权利要求书中公布了:1.以对象存储为冷存储的OLAP引擎冷热分离优化方法,其特征在于,包括以下步骤:S1选取冷却点:控制中心负责冷热的全流程控制,控制中心定时扫描分区,选取满足触发条件的分区,当分区达到冷却条件后,由控制中心下发冷却命令;满足触发条件的分区,首先停止该分区所有副本的自动合并过程,然后找到冷却点,冷却点前的数据参与冷却,冷却点后的数据不参与本次冷却;S2执行冷却:选择其中一个副本,将冷却点前的数据进行一次完整的合并小文件过程,合并时将纯数据和元数据文件分离,分离后的数据迁移到远端低成本储存介质;冷却过程中不影响新数据的写入,同时存在冷热数据或只存在冷热数据之一,副本之间共用一份远端数据,整个冷却过程不阻塞分区追加数据;文件迁移远端后,控制中心通知该分区的其他副本从远端对象存储中下载元数据文件;下载完成后,控制中心通知启用冷却数据,将本地元数据加载到内存,数据保存在远端,然后启动S3步骤的优化基础合并合并过程;副本之间共用一份远端数据,整个过程不阻塞分区数据写入;S3优化基础合并:本地新数据进行基础合并,远端不参与,下一次冷却时再做一次全量的合并,所述全量合并即远端和本地数据都参与合并;S4查询优化:将索引和数据分开存储,以减少因介质的不同带来的查询性能下降问题,在点查询场景中,通过元数据快速定位到具体文件的块偏移量,只需下载一个小块文件,减少数据的下载;优化查询计划,对带有Limit条件的SQL,优先查询本地热数据,提升性能;将冷数据的查询IO因素合入代价模型中,生成更优的查询计划。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人湖南兴盛优选网络科技有限公司,其通讯地址为:410205 湖南省长沙市高新开发区青山路662号芯城科技园二期1号栋802房;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。