买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：陆泽科技有限公司

摘要：本发明公开一种数据全生命周期动态自动化管理方法、产品、介质及设备，涉及大数据存储领域。本发明首先获取公司服务器资源信息和数据库属性信息并计算数据存储的最优文件大小；通过自然语言解析模型从用户需求中解析出字段映射关系以及建表属性；基于建表属性，利用建表语法生成对应的建表脚本；基于数据库信息创建脚本和目标服务器的连接，用于执行生成的脚本；在完成脚本执行后，基于实时数据监控和数据预测获得数据每日变化清单；根据最优文件大小和数据每日变化清单计算表最优分区策略；根据表最优分区策略进行脚本和数据更新；根据建表属性中的存储时长定期清理过期数据。本发明能够简化数据管理流程，降低人力成本和中间需求传递的风险。

主权项：1.一种数据全生命周期动态自动化管理方法，其特征在于，包括：通过文件解析函数获取公司服务器资源信息和数据库属性信息；所述服务器资源信息包括服务器数量以及每台服务器的内核数、内存大小和硬盘大小；所述数据库属性信息包括副本数、分区策略以及数据库特性；所述分区策略包括无分区、月分区、周分区和日分区；所述数据库特性包括namenode单位管理文件数、namenode内存大小、datanode个数、datanode对应block默认大小以及datanode最大文件大小；基于服务器资源信息和数据库属性信息计算数据存储的最优文件大小；所述基于服务器资源信息和数据库属性信息计算数据存储的最优文件大小，具体包括：基于服务器资源信息确定服务器的默认使用率、硬件条件以及进程繁忙度，并依据公式计算系统资源使用率；基于数据库属性信息，依据公式计算最小文件大小；基于系统资源使用率和最小文件大小，依据公式计算数据存储的最优文件大小；其中表示取最大值；通过自然语言解析模型从用户需求中解析出字段映射关系以及建表属性；所述字段映射关系包括字段名称、类型、描述以及是否可以为空；所述建表属性包括数据库名、表名、分区键、存储时长以及数据库信息；所述数据库信息包括数据库对应的IP、端口、用户名及密码；基于建表属性，利用建表语法生成对应的建表脚本；基于数据库信息创建脚本和目标服务器的连接，用于执行生成的脚本；在完成脚本执行后，基于实时数据监控和数据预测获得数据每日变化清单；根据最优文件大小和数据每日变化清单计算表最优分区策略；所述根据最优文件大小和数据每日变化清单计算表最优分区策略，具体包括：根据数据每日变化清单确定第三四分位数对应的日均订单数，并依据公式计算日均存储大小；基于最优文件大小和日均存储大小，依据公式计算分区系数；根据分区系数确定表最优分区策略；根据表最优分区策略进行脚本和数据更新；根据建表属性中的存储时长定期清理过期数据。

全文数据：

权利要求：

百度查询： 陆泽科技有限公司 数据全生命周期动态自动化管理方法、产品、介质及设备