买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:西安烽火软件科技有限公司
摘要:本发明公开了一种基于HDFS批量重命名文件加速方法,涉及大数据存储技术领域,极大地减少Client与NameNode的RPC交互次数,以及减少FileSystem写锁writeLock持有次数,提高NameNode处理性能;Client将构造好的源文件和目标文件列表,通过JavaAPI向NameNode发起RPC请求,申请批量重命名batchRename文件;为Client提供batchRename方法,Client能够批量访问NameNode元数据方法,RPC请求数由原来的N次降为1次,大大减少Client与NameNode的交互次数;writeLock数从原来的N次锁降为1次,极大降低锁竞争问题以及对其他操作请求的影响;Client对大量文件进行重命名时,通过batchRename方法批量访问NameNode元数据,极大地提升重命名文件的性能,能够解决在高并发场景下,有效缓解NameNodeRPC压力、降低writeLock锁竞争以及提升Client重命名文件的效率。
主权项:1.一种基于HDFS批量重命名文件加速方法,其特征在于:包含客户端Client、名字节点NameNode两部分;其中,客户端Client,用于读取HDFS文件的应用程序;名字节点NameNode,作为分布式文件系统的管理者,用于负责管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制;具体包含如下步骤:步骤1,Client通过JavaAPI,调用FileSystem类listStatus方法获取指定多个文件或者目录下的元数据信息,调用FileSystem类batchRename方法;其中,batchRename为批量重命名;JavaAPI为Java应用程序编程接口;FileSystem为文件系统;listStatus为列出文件状态;步骤2,Client向NameNode发起RPC请求,来请求重命名输入的源文件或目录列表;其中,RPC为远程过程调用;步骤3,NameNode侧NameSystem类batchRename方法,校验请求的路径是否有效,以及目标路径是否已经存在,持有writeLock后对文件或目录进行重命名;其中,writeLock为写锁。
全文数据:
权利要求:
百度查询: 西安烽火软件科技有限公司 一种基于HDFS批量重命名文件加速方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。