买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京星尘纪元智能科技有限公司
摘要:本发明公开了面向数据标注行业多维度高精度数据统计中心的解决方法。本发明中,为数据标注领域提供了一种多维度、细粒度、高精确度和低延迟的大数据全流程计算分析方案。该方案拆解标注行业的大数据结构,并细化至最细粒度单元进行复杂计算,从而实现对标注结果、标注过程、行业产能、人员绩效等多维度实时分析,其优势包括:成本效益良好:通过对标注行业特殊的数据结构进行拆解,获取了最细粒度单元的变更数据,提升对数据资源和行为日志的利用效率,从而降低了实施成本,该方案更具有经济效益。数据高效采集:该方案旨在提高数据采集的效率,确保从标注结果中快速获取有效和全面的信息。
主权项:1.面向数据标注行业多维度高精度数据统计中心的解决方法,其特征在于:所述方法包括以下步骤:S1:采用分布式存储和计算的大数据技术,确保在存储和计算两方面都具备良好的扩展性、稳定性和统一管理能力,为系统提供了高效的数据处理和分析基础;S2:以结构化的方式呈现半结构体中的最细粒度单元的变化情况;S3:将数据同步组件应用到实时计算引擎Flink、消息中间件Kafka以及分布式数据库Doris;S4:通过数据转换组件解析标注结果,并进行扁平化处理,且根据不同维度进行分流操作;S5:数据增量存算组件采用增量存算的模式;考虑到数据标注行业不同项目的独特性,将计算的增量控制在一定范围区间;S6:实时校验原始数据质量是否合格,每日定时对比数据完整度,定时修复数据并重新计算,发送预警和处理通知S7:设置实时在线分析调度系统;S8:通过数据服务组件通过开放报表平台和定制化接口服务的两种方式,为开发者和数据使用者提供服务。
全文数据:
权利要求:
百度查询: 北京星尘纪元智能科技有限公司 面向数据标注行业多维度高精度数据统计中心的解决方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。