首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种工作负载自适应单层LSMT的键值数据索引方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:浙江大学

摘要:本发明公开了一种工作负载自适应单层LSMT的键值数据索引方法。该方法对传统的日志结构合并树Log‑Structured‑MergeTree,LSMT进行了优化,去除了多层设计和固定内存表容量设计,引入了单层LSMT和动态容量内存表的设计。该方法将写入首先将写操作以顺序的方式写入存储设备上的日志文件中,再修改内存表。当内存表的大小达到了容量限制,转换成一个只读内存表,并在后台线程中将只读内存表表合入存储设备上的单层LSMT结构中。在此基础上,本方法能够根据工作负载中的键值读写分布自动优化存储结构。该索引方法能够同时降低对存储设备的读写放大,提升系统吞吐和存储设备寿命。同时针对工作负载做出自适应的优化,进一步提升系统性能。

主权项:1.一种工作负载自适应单层LSMT的键值数据索引方法,其特征在于,具体包括以下步骤:1对LSMT存储结构进行修改设计,包括以下子步骤:1.1去除LSMT多层结构的中间层,保留最后一层,并将最后一层作为存储层L0;将原先固定容量的内存表换成动态容量内存表,所述动态容量内存表的容量值为M,引入实数参数R,R>1,满足|L0|为当前存储层的数据量。1.2将存储层L0根据键范围分区成N个子键空间l1,l2,...,lN,所述子键空间不重叠,且每个子键空间li1≤i≤N的数据均存储在独立的存储文件中。每个子键空间li1≤i≤N最多存储T个来自所述动态容量内存表对该子键空间内的数据的更新Run,并且记γli为所述子键空间li所含有的Run集合,|γli|为集合大小;所述Run的键值数据按照键顺序排序,并且一个子键空间的Run之间可重叠;所述T≥1。2将所述动态容量内存表进行合并,具体为:当所述动态容量内存表的容量值超过M,将所述动态容量内存表转换成只读内存表,并在后台线程中启动合并过程,将所述只读内存表合入存储层L0,同时,建立新的活动内存表,继续处理前端读写请求。所述合并过程具体为:根据存储层L0的子键空间的范围分区,将所述只读内存表划分成N个Run,记为r1,r2,...,rN,其中ri属于li。然后将ri写入对应的子键空间li对应的存储文件中。当一个子键空间li的数据量超过阈值β或|γli|>T时,将γli合并成一个Run,即合并之后|γli|=1,并且根据数据量等分成两个子键空间,当合并完成后,索引写步骤完毕。

全文数据:

权利要求:

百度查询: 浙江大学 一种工作负载自适应单层LSMT的键值数据索引方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。