龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京明略软件系统有限公司
摘要：本发明提出一种流式数据补齐方法、系统、电子设备及存储介质，其方法技术方案包括配置文件加载步骤，设计一用于生成数据补齐的SQL的配置文件，并启动加载所述配置文件，所述配置文件包括主表与副表信息；流式数据处理步骤，从kafka中接入数据，并将所述数据经过一流式计算框架进行数据处理，所述数据处理包括执行所述配置文件所生成的所述SQL以得到补齐后的所述数据；补齐结果输出步骤，将补齐后的所述数据输出至所述kafka的topic中。本申请解决了现有流式数据补齐方法不具备通用性的问题。
主权项：1.一种流式数据补齐方法，其特征在于，包括：配置文件加载步骤，设计一用于生成数据补齐的SQL的配置文件，并启动加载所述配置文件，所述配置文件包括主表与副表关联字段的信息，副表配置信息，主表配置信息以及输出表配置信息；其中，主表与副表关联字段的信息的关联条件的取值包括AND和OR，AND表示关联条件需要全部满足，OR表示关联条件满足一个即可；副表配置信息包括与主表和副表的关联条件配置相关的主表字段名称、副表字段名称、主表字段是否可转置和转置时需要配置的自动分割符，与输出表和副表的映射配置相关的输出表字段名称和副表字段名称，与副表配置信息相关的副表名称，其中，输出表和副表的映射配置为：如果副表字段在主表中存在表示使用副表字段值覆盖主表字段值来实现补齐功能，如果副表字段在主表中不存在表示添加副表的该字段到主表中作为输出表；主表配置信息包括主表字段列表和主表名称；输出表配置信息包括输出表字段列表和输出表名称；流式数据处理步骤，从kafka中接入数据，并将所述数据经过一流式计算框架进行数据处理，所述数据处理包括执行所述配置文件所生成的所述SQL以得到补齐后的所述数据；补齐结果输出步骤，将补齐后的所述数据输出至所述kafka的topic中。
全文数据：
权利要求：
百度查询： 北京明略软件系统有限公司 一种流式数据补齐方法、系统、电子设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号