龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：深圳市惟客数据科技有限公司
申请日：2021-08-26
公开（公告）日：2024-06-28
公开（公告）号：CN113779144B
主分类号：G06F16/27
分类号：G06F16/27;G06F16/2458;G06F16/25;G06F16/28;G06F40/186
优先权：
专利状态码：有效-授权
法律状态：2024.06.28#授权;2021.12.28#实质审查的生效;2021.12.10#公开
摘要：本发明公开了一种大数据整合处理方法、系统和存储介质。该方法包括以下步骤：响应于数据获取请求，通过埋点分析，获取目标数据，并存储在消息队列中；响应于数据同步请求，利用异构数据源数据同步方法，将目标数据从消息队列同步至目标数据库；当目标数据同步完成，利用数据拉通方法，从目标数据库中提取每一份待处理数据的所有用户标识，并根据用户标识，关联所有待处理数据，得到关联结果；根据关联结果和预设的第一模板文件，生成目标表；根据目标表，配置并生成元数据。本发明公开的一种大数据整合处理方法、系统和存储介质，使用户可以通过元数据对记载在目标表上的准确率更高的数据进行查询和分析，有利于提高查询和分析的准确率。
主权项：1.一种大数据整合处理方法，其特征在于，包括以下步骤：响应于数据获取请求，通过埋点分析，获取目标数据，并存储在消息队列中，所述目标数据包括标准化数据和非标准化数据数据；响应于数据同步请求，利用异构数据源数据同步方法，将所述目标数据从所述消息队列同步至目标数据库；当所述目标数据同步完成，利用数据拉通方法，从所述目标数据库中提取每一份待处理数据的所有用户标识，并根据所述用户标识和预设的关联规则，关联所有所述用户的所有所述待处理数据，得到关联结果，通过所述用户标识和预设的所述结果对所有所述待处理数据进行关联，通过所述关联规则给标识类型的优先级进行配置，给所述关联结果配置唯一第一标识，其中，每一份所述待处理数据指向一个用户，当多份待处理数据指向同一个所述用户，通过所述数据拉通方法，将指向同一个所述用户的设施待处理用户关联，根据所有所述用户标识，生成用于图计算的点集合与边集合，根据所述点集合与所述边集合生成并得到构造图，根据所述构造图，利用最大连通子图算法计算得到关联结果；根据所述关联结果和预设的第一模板文件，生成目标表；根据所述目标表，配置并生成元数据。
全文数据：
权利要求：
百度查询： 深圳市惟客数据科技有限公司 大数据整合处理方法、系统和存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号