龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：南京冰鉴信息科技有限公司
申请日：2024-03-18
公开（公告）日：2024-06-14
公开（公告）号：CN118193635A
主分类号：G06F16/27
分类号：G06F16/27;G06F16/22;G06F9/50;G06F9/54
优先权：
专利状态码：在审-实质审查的生效
法律状态：2024.07.02#实质审查的生效;2024.06.14#公开
摘要：本公开涉及一种基于kafka的数据同步方法及电子设备，包括：对比hive库中的待同步数据与历史数据的唯一标识，确定待同步数据的同步类型；根据同步类型，将待同步数据发送到对应的kafka主题topic中；部署多个节点消费程序，并根据kafka主题topic，确定在每个节点消费程序对应消费的目标kafka主题topic；根据各节点消费程序对应消费的目标kafka主题topic的个数，创建线程，并确定线程对应消费的目标kafka主题topic；根据目标kafka主题topic对应的offset以及同步类型，通过线程读取待同步数据到mongo表和elasticsearch表中。
主权项：1.一种基于kafka的数据同步方法，其特征在于，所述方法包括：对比hive库中的待同步数据与历史数据的唯一标识，确定所述待同步数据的同步类型；根据所述同步类型，将所述待同步数据发送到对应的kafka主题topic中；部署多个节点消费程序，并根据所述kafka主题topic，确定在每个所述节点消费程序对应消费的目标kafka主题topic；根据各节点消费程序对应消费的目标kafka主题topic的个数，创建线程，并确定所述线程对应消费的目标kafka主题topic；根据所述目标kafka主题topic对应的offset以及所述同步类型，通过所述线程读取所述待同步数据到mongo表和elasticsearch表中。
全文数据：
权利要求：
百度查询： 南京冰鉴信息科技有限公司 基于kafka的数据同步方法及电子设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号