首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于分布式缓存的大规模Kafka集群Topic列表快速获取方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:北京科杰科技有限公司

摘要:本发明涉及缓存技术领域,尤其涉及基于分布式缓存的大规模Kafka集群Topic列表快速获取方法,包括:步骤S1,定期获取Kafka集群中的实时主题元数据;步骤S2,采用键值对的数据结构类型将所述主题元数据缓存到分布式缓存系统中;步骤S3,分布式缓存系统对主题信息调用请求进行验证并对主题信息调用请求和主题信息分别进行缓存和备份;步骤S4,所述分布式缓存系统将所述主题元数据发送至调用请求方以生成主题列表;步骤S5,根据主题列表的生成时长的波动幅度判定主题列表获取稳定性是否符合要求;步骤S6,调整元数据的更新方式;步骤S7,根据分布式缓存系统的数据恢复时长对所述备份的延迟时长进行二次调节;本发明实现了主题列表快速获取。

主权项:1.基于分布式缓存的大规模Kafka集群Topic列表快速获取方法,其特征在于,包括:步骤S1,定期获取Kafka集群中的实时主题元数据;步骤S2,采用键值对的数据结构类型将所述主题元数据缓存到分布式缓存系统中;步骤S3,向所述分布式缓存系统发送主题信息调用请求,分布式缓存系统对所述主题信息调用请求进行验证并对主题信息调用请求和主题信息分别进行缓存和备份;步骤S4,在所述主题信息调用请求通过所述验证时,所述分布式缓存系统根据所述主题信息查询出对应的主题元数据,并将所述主题元数据发送至调用请求方以生成主题列表;步骤S5,获取若干主题列表的生成时长,并根据主题列表的生成时长的波动幅度判定主题列表获取稳定性是否符合要求;步骤S6,在判定不符合要求时,调整元数据的更新方式,或,根据键值中的值的字节量与缓存延迟时长的线性拟合度调节缓存的数据结构类型的数量,或,根据元数据调用速率初次调节备份的延迟时长;步骤S7,在完成对于所述备份的延迟时长的初次调节时,根据分布式缓存系统的数据恢复时长对所述备份的延迟时长进行二次调节;其中,所述元数据的更新方式包括定时更新方式和事件触发更新方式。

全文数据:

权利要求:

百度查询: 北京科杰科技有限公司 基于分布式缓存的大规模Kafka集群Topic列表快速获取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术