申请/专利权人:网易(杭州)网络有限公司
申请日:2020-01-07
公开(公告)日:2024-06-21
公开(公告)号:CN111241078B
主分类号:G06F16/215
分类号:G06F16/215;G06F16/2455;G06F16/2458
优先权:
专利状态码:有效-授权
法律状态:2024.06.21#授权;2020.06.30#实质审查的生效;2020.06.05#公开
摘要:本发明公开了一种数据分析系统、数据分析的方法及装置。其中,该数据分析系统包括:日志收集模块,用于收集至少一个目标应用上报的原始日志数据;数据分流模块,用于按照预设配置信息对原始日志数据进行清洗和分流处理,得到分流结果,其中,预设配置信息包括:日志数据的类别信息与消息处理器集群上创建的类别信息之间的对应关系;数据分析模块,用于对分流结果进行序列化处理和逻辑运算,得到运算结果,并对运算结果进行存储。本发明解决了相关技术中用于对业务进行实时分析的方式需要有操作者拥有足够的领域知识,实施起来比较困难的技术问题。
主权项:1.一种数据分析系统,其特征在于,包括:日志收集模块,用于收集至少一个目标应用上报的原始日志数据;数据分流模块,用于按照预设配置信息对所述原始日志数据进行清洗和分流处理,得到分流结果,其中,所述预设配置信息包括:所述原始日志数据的日志类型与消息处理器集群上创建的类别信息之间的对应关系;数据分析模块,用于对所述分流结果进行序列化处理和逻辑运算,得到运算结果,并对所述运算结果进行存储;所述数据分流模块,还用于利用所述预设配置信息和所述原始日志数据的所述日志类型,在所述消息处理器集群中创建与所述日志类型对应的多个日志列表;对所述原始日志数据进行清洗,得到清洗后的日志数据;提取所述清洗后的日志数据的日志类型字段,并以所述日志类型字段作为待扩充维度的字段信息,对所述清洗后的日志数据进行维度信息扩充,得到扩充后的日志数据,并将所述扩充后的日志数据分发至所述多个日志列表中,形成所述分流结果。
全文数据:
权利要求:
百度查询: 网易(杭州)网络有限公司 数据分析系统、数据分析的方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。