买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:江苏达科信息科技有限公司
摘要:本发明公开了基于ApacheSpark的石化数据大模型分析管理方法,涉及数据管理技术领域,通过欧式距离算法计算每个特征数据点与初始聚类中心的欧式距离,基于欧式距离远近生成多个聚类中心,当生成的聚类中心数量等于最优聚类数量时,完成聚类中心的选择步骤,在聚类簇初始划分完成后,Spark的迭代计算功能用于不断更新聚类簇的聚类中心;这一过程继续,直到聚类中心的变动稳定,此时使用Spark输出最终的聚类结果;所有聚类簇的聚类中心不再发生变化后,输出聚类结果;该管理系统不需要预先标记的训练数据,更加灵活和适用于石化行业中未标记数据的分析和管理,有效提高管理系统适应性以及对数据的处理效率。
主权项:1.基于ApacheSpark的石化数据大模型分析管理方法,其特征在于:所述管理方法包括以下步骤:管理系统收集石化行业数据,提取石化行业数据中的特征数据,依据业务需求和特征数据通过轮廓系数确认最优聚类数量;管理系统提取的特征数据包括石化产业中产品的仓储积压率、销售额和成本数据,将每个产品的仓储积压率、销售额和成本数据划为每个特征数据点;随机选择特征数据点作为初始聚类中心,通过欧式距离算法计算每个特征数据点与初始聚类中心的欧式距离,基于欧式距离远近生成多个聚类中心,当生成的聚类中心数量等于最优聚类数量时,完成聚类中心的选择步骤;将所有特征数据点数量比上聚类中心数量获取聚类簇最大特征数据点数量,并将所有特征数据点分配到欧式距离最近的聚类中心,当该聚类中心所处聚类簇中特征数据点数量等于最大特征数据点数量时,停止向该聚类簇分配特征数据点;在所有聚类簇划分完成后,不断更新每个聚类簇的聚类中心,并依据更新的聚类中心重新分配特征数据点,当所有聚类簇的聚类中心不再发生变化后,输出聚类结果;对多个聚类簇之间进行交互式分析,并基于交互式分析结果生成石化行业的管理策略,将聚类结果、交互式分析结果以及管理策略通过可视化工具可视化处理;在所有聚类簇划分完成后,不断更新每个聚类簇的聚类中心,并依据更新的聚类中心重新分配特征数据点,当所有聚类簇的聚类中心不再发生变化后,输出聚类结果,包括以下步骤:D、每个特征数据点均包括仓储积压率、销售额和成本数据,在所有聚类簇划分完成后,计算每个聚类簇的特征平均点,聚类簇的特征平均点包括平均仓储积压率、平均销售额以及平均成本;E、将聚类簇特征平均点作为该聚类簇更新后的聚类中心,完成每个聚类簇的聚类中心更新后,重新依据欧式距离为每个聚类簇分配特征数据点;F、不断重复步骤D和步骤E,当所有聚类簇的聚类中心不再发生变化后,输出聚类结果;对多个聚类簇之间进行交互式分析,并基于交互式分析结果生成石化行业的管理策略,包括以下步骤:对聚类簇中每个特征数据点的仓储积压率、销售额和成本数据进行归一化处理,将特征数据点的仓储积压率、销售额和成本数据取值范围映射到[0,1]之间,获取仓储积压率归一化值、销售额归一化值和成本归一化值;通过销售额归一化值减去仓储积压率归一化值减去成本归一化值后得到每个特征数据点的产品评分,计算聚类簇内所有特征数据点的平均产品评分后获取聚类簇效益评分;对多个聚类簇之间进行交互式分析,计算所有聚类簇的平均效益评分以及效益评分离散程度,结合所有聚类簇的平均效益评分以及效益评分离散程度分析石化企业产品的整体效益状况;若平均效益评分大于等于评分阈值,且效益评分离散程度小于等于离散阈值,判断石化企业产品的整体效益状况优,无需进行管理;若平均效益评分大于等于评分阈值,且效益评分离散程度大于离散阈值,判断石化企业产品的整体效益状况中,向石化企业管理员发出提示,由石化企业管理员选择是否进行管理;若平均效益评分小于评分阈值,且效益评分离散程度大于离散阈值,判断石化企业产品的整体效益状况较差,生成缓和管理策略;若平均效益评分小于评分阈值,且效益评分离散程度小于等于离散阈值,判断石化企业产品的整体效益状况差,生成紧急管理策略。
全文数据:
权利要求:
百度查询: 江苏达科信息科技有限公司 基于Apache Spark的石化数据大模型分析管理方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。