首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

气象格点数据管理方法和装置 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:国家气象信息中心(中国气象局气象数据中心)

摘要:本发明公开了一种气象格点数据管理方法和装置,属于气象信息处理领域。本发明提供基于MPP分布式数据库的气象格点数据存储管理方案,同时针对常见分析算法实现了分布式并行优化,有效提升了格点数据的访问性能。通过PostGrid数据库插件的形式,在数据库内部原生支持格点数据的存储;通过SQL实现对格点数据的操作,包括数据写入、简单查询和复杂分析;充分利用并行处理的优势,针对部分聚合函数实现分布式执行优化;将格点数据以关系模型的方式管理,继承了关系型数据库相比于文件系统的诸多优点,如事务支持,SQL支持,多用户共享等。

主权项:1.一种气象格点数据管理方法,其特征在于,所述气象格点数据管理方法基于分布式数据库集群管理气象格点数据,所述分布式数据库集群包括MPP数据库,所述分布式数据库集群包括若干节点,每个所述节点上均运行各自单独的数据库服务,所述分布式数据库集群具有无共享体系结构,所述无共享体系结构为各个所述节点的处理器均通过互连网络通信、且各个所述节点的内存和磁盘不互相共享,并且,所述气象格点数据管理方法包括:S100:将气象格点数据进行分片,所述分片为所述节点的最小粒度的存储单元;S200:通过数据库插件将所述气象格点数据经所述分片后得到的分片数据以二进制的形式存储到分布式数据库集群中,其中:所述数据库插件为基于所述分布式数据库集群中的PostgreSQL开发的PostGrid格点插件,所述PostGrid格点插件的数据类型被定义为格点数据,并且,通过所述PostGrid格点插件被存储到各个节点的数据库中的所述分片数据,以SQL函数的方式注册到各个所述节点的数据库中;所述节点分为协调节点和工作节点,所述协调节点负责请求的解析和分发,并提供集群管理,所述工作节点负责本地的所述分片数据的存储和计算,所述工作节点保存本地的所述分片数据的元数据信息,并且,所述协调节点保存所述分布式数据库集群的所有分片数据的所述元数据信息;所述气象格点数据管理方法还包括通过查询下推的方式进行查询优化,其中:各个所述工作节点将执行查询操作的查询结果返回给所述协调节点、并保存在所述协调节点的本地临时文件中,并且,在所有的所述工作节点查询执行结束后,所述协调节点将所述本地临时文件中的所述查询结果进行数据合并,返回最终的结果;所述气象格点数据分为常年值数据和全年值数据;所述全年值数据采用水平分片的方式分片后分布存储到各个所述节点的数据库中,所述常年值数据存储在每个所述节点的数据库中的复制表内;根据所述常年值数据中的主键列对所述常年值数据进行hash分片,将单个数据源的常年值数据存储到一个分区表中,并增加一列用于区分不同的要素类型。

全文数据:

权利要求:

百度查询: 国家气象信息中心(中国气象局气象数据中心) 气象格点数据管理方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。