申请/专利权人:广州助蜂网络科技有限公司
申请日:2020-10-27
公开(公告)日:2024-06-25
公开(公告)号:CN112269831B
主分类号:G06F16/27
分类号:G06F16/27;G06F16/23;G06F16/21
优先权:
专利状态码:有效-授权
法律状态:2024.06.25#授权;2021.02.12#实质审查的生效;2021.01.26#公开
摘要:本发明公开了一种高性能的海量数据同步方法,包括:获取物联网卡的过去状态数据;根据所述过去状态数据,配置数据同步策略;根据所述过去状态数据和数据同步策略,计算同步频率,得到同步频率列表;根据所述同步频率列表,通过运营商接口获取所述物联网卡的实时状态数据;所述实时状态数据通过Redis进行数据过滤,将过滤后的所述实时状态数据写入数据库。还公开了使用该方法的一种装置。本发明通过配置不同的同步策略和缓冲策略,提高数据的同步效率、灵活性和实时性,大幅度降低同步数据对业务系统和数据库的压力。
主权项:1.一种高性能的海量数据同步方法,其特征在于,包括:获取物联网卡的过去状态数据;根据所述过去状态数据,配置数据同步策略;根据所述过去状态数据和数据同步策略,计算同步频率,得到同步频率列表;根据所述同步频率列表,通过运营商接口获取所述物联网卡的实时状态数据;将所述实时状态数据与Redis中保存的过去状态数据进行比对;若所述实时状态数据相对所述过去状态数据发生变化,则使用所述实时状态数据更新所述Redis中保存的过去状态数据;否则将所述实时状态数据丢弃;将过滤后的所述实时状态数据写入数据库;其中,所述配置所述数据同步策略包括:根据所述过去状态数据,定义所述物联网卡的同步频率评价指标及其计算方式;所述同步频率评价指标包括:日均使用流量占比、已用流量占比、日流量增长环比、套餐流量、剩余沉默期、上一次同步时间;定义所述同步频率评价指标的同步频率权重;定义根据所述同步频率评价指标及其权重、计算所述同步频率的方式。
全文数据:
权利要求:
百度查询: 广州助蜂网络科技有限公司 一种高性能的海量数据同步方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。