买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东烟草汕头市有限责任公司

摘要：本发明公开了一种基于分布式架构的多源文件数据管理方法及系统，涉及数据管理技术领域，该方法包括多源上传端点响应接收文件数据上传管理请求，并将响应的上传端点记为源端点，将源端点接收的文件数据记为源文件数据；统计源文件数据的特征信息以及源端点的文件上传模式参数进行解析，获取源文件数据的第一压缩分块机制；对源文件数据执行压缩分块处理，获取源文件数据的各切割数据块；同步统计源端点的存储节点集群当前状态信息，并进行过滤得到源文件数据的各切割数据块所对应的目标存储节点进行存储管理。本发明能够以最大程度利用管理资源，促进存储空间的高效合理应用，并提高了文件数据存储和处理的效率。

主权项：1.一种基于分布式架构的多源文件数据管理方法，其特征在于，包括：多源上传端点响应接收文件数据上传管理请求，并将响应的上传端点记为源端点，将源端点接收的文件数据记为源文件数据；统计源文件数据的特征信息以及源端点的文件上传模式参数进行解析，获取源文件数据的第一压缩分块机制；根据所述源文件数据的第一压缩分块机制，对源文件数据执行压缩分块处理，获取源文件数据的各切割数据块；根据所述源文件数据的各切割数据块，同步统计源端点的存储节点集群当前状态信息，并进行过滤得到源文件数据的各切割数据块所对应的目标存储节点进行存储管理；所述源端点的文件上传模式参数，包括源端点的各次验证上传的文件数据校核特征信息以及有效上传模式数据；所述各次验证上传的文件数据校核特征信息为各次验证上传的文件数据特征值以及文件数据字节总数；所述有效上传模式数据包括各次验证上传的文件数据对应的有效执行压缩比以及数据块上传执行分割总数；所述统计源文件数据的特征信息以及源端点的文件上传模式参数进行解析，具体过程包括：根据源文件数据的特征信息，通过预设回归分析算法进行数值归一拟合处理，得到源文件数据特征值，并根据预定义的特征值许可范围差，划分得到源文件数据隶属特征值区间；从源文件数据的特征信息中统计源文件数据的字节累计总数，并根据预定义的字节许可范围差，定位得到源文件数据的字节归属范围区间；将各次验证上传的文件数据特征值与源文件数据隶属特征值区间进行映射比较，若某次验证上传的文件数据特征值处于源文件数据隶属特征值区间内，则将该次验证上传的文件数据标定为先行文件数据，由此遍历统计各先行文件数据；提取各次验证上传的文件数据字节总数，从中筛分各先行文件数据字节总数，并与源文件数据的字节归属范围区间进行比对，若某先行文件数据字节总数处于源文件数据的字节归属范围区间内，则将该先行文件数据标定为预参考文件数据，由此遍历统计各预参考文件数据；根据各次验证上传的文件数据对应的有效执行压缩比以及数据块上传执行分割总数，从中统计各预参考文件数据对应的有效执行压缩比以及数据块上传执行分割总数；所述源文件数据的第一压缩分块机制，分别包括源文件数据的第一预置执行压缩比以及源文件数据的第一预置执行数据块分割总数，具体获取过程为：根据各预参考文件数据对应的有效执行压缩比以及数据块上传执行分割总数，并通过去除极值以及求取均值处理，得到预参考文件数据的参照有效执行压缩比以及预参考文件数据的数据块上传执行参照分割总数；将预参考文件数据的参照有效执行压缩比作为源文件数据的第一预置执行压缩比；将预参考文件数据的数据块上传执行参照分割总数作为源文件数据的第一预置执行数据块分割总数；所述源端点的存储节点集群当前状态信息，具体包括当前执行任务队列信息和当前空间网络性能信息；所述当前执行任务队列信息包括当前各存储节点的在执行任务总数、待执行任务总数、待执行任务汇聚容量值以及当前各存储节点的各在执行任务的剩余传输容量和平均执行传输速度；所述当前空间网络性能信息包括当前各存储节点的网络带宽利用率、网络传输速率和网络信号强度；所述过滤得到源文件数据的各切割数据块所对应的目标存储节点进行存储管理，具体过程为：根据所述当前执行任务队列信息，经聚类处理得到当前各存储节点的第一权重因子；根据所述当前空间网络性能信息，经聚类处理得到当前各存储节点的第二权重因子；根据当前各存储节点的第一权重因子以及当前各存储节点的第二权重因子，导入预置过滤模型处理得到当前各存储节点的存储执行优先级；将当前各存储节点的存储执行优先级按照从高到低的顺序进行排列，得到存储节点的存储执行优先级排列次序；统计源文件数据的切割数据块数目，记为存储节点指定筛分数目，并从存储节点的存储执行优先级排列次序中以存储节点指定筛分数目进行依次提取得到各目标存储节点；根据各目标存储节点，并与源文件数据的各切割数据块进行对应匹配，得到源文件数据的各切割数据块所对应的目标存储节点，由此进行存储管理。

全文数据：

权利要求：

百度查询： 广东烟草汕头市有限责任公司 一种基于分布式架构的多源文件数据管理方法及系统