买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜长沙理工大学申请的专利一种基于动态容量的Spark内存替换方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114610657B 。

龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210311966.1，技术领域涉及：G06F12/123；该发明授权一种基于动态容量的Spark内存替换方法是由王进;张睿涵;张经宇;王磊;王静;王建新设计研发完成，并于2022-03-28向国家知识产权局提交的专利申请。

本一种基于动态容量的Spark内存替换方法在说明书摘要公布了：本申请公开的基于动态容量的Spark内存替换方法，包括：配置第一替换算法和第二替换算法；当有新的RDD需要存储时，根据内存紧张程度进行替换算法的选用；当触发第二替换算法时，将已有RDD分为有依赖计数和无依赖计数的两个表进行维护；随后获取已有RDD的权重大小；接着确认无依赖计数RDD表是否为空：若不为空，则在无依赖计数的RDD表中按权重从小到大将已有RDD逐个驱逐出内存，直到足够缓存新的RDD则停止；若为空，则遍历有依赖计数RDD表，以同样的方法驱逐RDD，直到空间足够容纳新的RDD。本方案能够在不同内存环境的条件下，更大限度的降低Spark在作业时的读写开销以及对性能的影响，提高缓存命中率，提升Spark的运行效率。

本发明授权一种基于动态容量的Spark内存替换方法在权利要求书中公布了：1.一种基于动态容量的Spark内存替换方法，其特征在于，包括以下步骤：S1、配置算法：配置第一替换算法：LRU算法；以及第二替换算法：基于权重和依赖计数算法；S2、缓存计算：当有新的RDD数据文件需要存储时，遍历维护的RDD表，并计算其中RDD平均值，根据所述RDD平均值与Spark中StorageManager可用内存空间的比值大小，进行替换算法的选用；S3、RDD划分：当触发选用所述第二替换算法时，在利用Spark中的DAGScheduler分析Stage时维护一个RDD依赖计数表，基于此表将Stage内的已有RDD分为有依赖计数和无依赖计数的两个表进行维护；每当Spark中的一个Task计算完成，便将使用过的RDD的依赖计数减一，若该RDD的依赖计数减少为0，则将该RDD从有依赖计数队列转移至无依赖计数队列；S4、权重计算：随后获取参数—RDD数据大小、RDD依赖关系以及RDD使用次数；通过获取的参数值加权计算已有RDD的权重大小；S5、数据缓存：确认无依赖计数的RDD表是否为空：若不为空，则在无依赖计数的RDD表中按权重大小从小到大的顺序将已有RDD逐个驱逐出内存，每次驱逐完成后检查剩余空间，直到足够缓存新的RDD则停止驱逐；若为空，则遍历有依赖计数的RDD表，以同样的方法逐个驱逐已有RDD，直到空间足够容纳新的RDD。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人长沙理工大学，其通讯地址为：410114 湖南省长沙市(天心区)万家丽南路二段960号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。