买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京理工大学
摘要:本公开的基于同构自适应学习索引的分布式键值存储方法及装置,通过获取服务器端的自适应学习索引模型的索引参数和节点参数;基于所述自适应学习索引模型的索引参数和节点参数通过反序列模型重建同构自适应学习索引模型;重建所述服务器端的自适应学习索引模型的叶子节点的地址映射数据结构;根据所述叶子节点的地址映射数据结构和所述同构自适应学习索引模型预测用户的读写请求键对应的服务器端地址,采用RDMA方式加速用户读写请求键值对存储。能够在不增加通信代价的前提下有效的减小服务器CPU压力,以及满足系统占用空间小、高吞吐量和低延时的需求。
主权项:1.一种基于同构自适应学习索引的分布式键值存储方法,其特征在于,所述方法包括:客户端获取服务器端的自适应学习索引模型的索引参数和节点参数;其中,基于机器学习索引模型的叶子节点的容量和键值的预测位置自适应调整所述机器学习索引模型结构得到自适应学习索引模型;所述机器学习索引模型为树结构模型,并且是一种递归的模型索引结构,只有叶子节点模型可以直接访问键值对,内部节点模型决定着从根节点到叶子节点的搜索路径;所述索引参数包括自适应学习索引模型的地址、内存大小和节点总数;所述节点参数包括每个节点的线性模型参数、其孩子节点的指针数量和其孩子节点编号;所述叶子节点的地址映射数据结构包括叶子节点的编号、模型版本号、数据容量、键值对实际位置和与其对应键值对缓存地址;基于所述自适应学习索引模型的索引参数和节点参数,客户端通过反序列模型重建同构自适应学习索引模型;重建所述服务器端的自适应学习索引模型的叶子节点的地址映射数据结构;客户端根据所述叶子节点的地址映射数据结构和所述同构自适应学习索引模型预测用户的读请求键对应的服务器端地址,采用RDMA方式加速用户读请求键值对存储;根据所述叶子节点的地址映射数据结构和所述同构自适应学习索引模型预测用户的读请求键对应的服务器端地址,采用RDMA方式加速用户读请求键值存储,包括:客户端利用所述同构自适应学习索引模型预测读请求键的位置范围;根据叶子节点的地址映射数据结构获取读请求键的预测位置范围的服务器端地址,以及获取读请求键在所述同构自适应学习型索引模型中所对应的叶子节点,叶子节点地址和模型版本号Vck;当预测的所述读请求键的位置范围误差小于预设阈值时,客户端采用单向RDMA方式根据获取的服务器端地址从服务器拉取所述读请求键的位置范围内的键值对、叶子节点对应键值对缓存中的键值对和叶子节点的模型版本号Vsk;当所述叶子节点的模型版本号Vck与叶子节点在服务器端的模型版本号Vsk相等,客户端在本地从服务器拉取的键值对中搜索出读请求键的值;否则,根据所述该叶子节点地址从服务器拉取最新叶子节点模型,更新所述客户端同构的自适应学习索引模型;当预测的所述读请求键的位置范围误差大于预设阈值时,客户端采用双向RDMA方式将所述读请求键发送到服务器,利用服务器端的自适应学习索引模型得到所述读请求健值,然后将该值发送给客户端。
全文数据:
权利要求:
百度查询: 北京理工大学 基于同构自适应学习索引的分布式键值存储方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。