申请/专利权人：美林数据技术股份有限公司

申请日：2023-12-01

公开（公告）日：2024-04-12

公开（公告）号：CN117873461A

主分类号：G06F8/35

分类号：G06F8/35;G06F8/30;G06N20/00

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本申请属于机器学习技术领域，尤其涉及一种多语言Pipeline轻量模型构建方法，步骤一、Python通用算法模型的开发：设计python和scala,java语言之间离线批量数据传输结构；基于Spark、Mleap框架开发python算子，实现sparkDataframe在scala和python语言之间数据传输；步骤二、MLPipeline模型训练流程搭建：基于业务场景，选择算子搭建机器学习流水线模型，调用模型的序列化方法，生成最终的MLeapBundle模型。步骤三、基于MLeapRuntime的实时预测服务搭建：搭建mleapruntime运行池环境，将SparkMLlib模型序列化成MLeap格式，部署一个预测服务，加载序列化的模型并处理实际的预测请求。该方法使用Python和Scala，Java三种不同的语言以及相关的机器学习库和框架混合建模，提出了端到端的多语言机器学习pipeline，从而充分发挥它们各自的优势。

主权项：1.一种多语言Pipeline轻量模型构建方法，其特征在于，包括以下步骤:步骤一、Python通用算法模型的开发：设计python和scala,java语言之间离线批量数据传输结构；基于Spark、Mleap框架开发python算子，实现sparkDataframe在scala和python语言之间数据传输，python算子可自定义编写处理逻辑，可调用python任何框架包；步骤二、MLPipeline模型训练流程搭建；基于业务场景，选择算子搭建机器学习流水线模型，该算子支持步骤一开发的python算子语言、java语言机器学习库weka算子、scala语言sparkmllib中的算子，将各个算子连接起来，以构建完整的机器学习流水线模型；调用模型的序列化方法，生成最终的MLeapBundle模型；步骤三、基于MLeapRuntime的实时预测服务搭建：搭建mleapruntime运行池环境，将SparkMLlib模型序列化成MLeap格式，部署一个预测服务，加载序列化的模型并处理实际的预测请求。

全文数据：

权利要求：

百度查询： 美林数据技术股份有限公司 一种多语言Pipeline轻量模型构建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD