买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南大学

摘要：本发明公开了一种基于Spark与AI融合的CitcomS并行计算方法，首先主节点采集待模拟的地质动力学演化过程所需的原始数据集，并使用随机数据扩充法对原始数据集进行扩展，以得到扩充后的原始数据集，然后主节点设置计数器i＝1，并判断i是否大于步骤1中采集到的原始数据集的大小，如果不是则主节点通过Java本地接口JNI将CitcomS源代码文件和原始数据集中的第i个数据一起打包为Java应用程序，其为可跨语言调用的应用程序包，主节点对应用程序包进行细粒度任务划分，以得到多个具有不同细粒度的计算任务，通过spark‑submit工具将所有计算任务提交给Spark集群。本发明能够解决现有CitcomS计算方法无法针对复杂多样的地质演化场景进行模拟，无法准确反映客观现实世界的技术问题。

主权项：1.一种基于Spark与AI融合的CitcomS并行计算方法，是应用在包括一个主节点和Spark集群的计算环境中，其特征在于，所述CitcomS并行计算方法包括以下步骤：1主节点采集待模拟的地质动力学演化过程所需的原始数据集，并使用随机数据扩充法对原始数据集进行扩展，以得到扩充后的原始数据集。2主节点设置计数器i＝1；3主节点判断i是否大于步骤1中采集到的原始数据集的大小，如果是则进入步骤11，否则进入步骤4；4主节点通过Java本地接口JNI将CitcomS源代码文件和原始数据集中的第i个数据一起打包为Java应用程序，其为可跨语言调用的应用程序包。5主节点对步骤4获取的应用程序包进行细粒度任务划分，以得到多个具有不同细粒度的计算任务；6主节点通过spark-submit工具将步骤5得到的所有计算任务提交给Spark集群；7Spark集群将主节点提交的所有计算任务分发到集群中的各个节点；8Spark集群中的各个节点对接收到的计算任务进行分析，以获取其中的计算信息，并将该计算信息输入训练好的卷积神经网络，以得到地质动力学演化过程的中的预测计算结果诸如温度、压力、位置、成分和应力相关粘度等，并将预测计算结果发送到主节点；9主节点对来自Spark集群中所有节点的计算结果进行聚合，以得到计算输出结果。10主节点设置i＝i+1，并返回步骤3。11主节点将得到的所有计算结果存储到输出文件，过程结束。

全文数据：

权利要求：

百度查询： 湖南大学 一种基于Spark与AI融合的CitcomS并行计算方法和系统