龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：恒生电子股份有限公司
申请日：2024-04-11
公开（公告）日：2024-06-25
公开（公告）号：CN118035178B
主分类号：G06F16/14
分类号：G06F16/14;G06F16/16;G06F16/182
优先权：
专利状态码：有效-授权
法律状态：2024.06.25#授权;2024.05.31#实质审查的生效;2024.05.14#公开
摘要：本申请提出一种数据排查方法、装置、电子设备、计算机可读存储介质及程序产品，在接收到用户的数据排查请求时，首先根据数据排查请求中的目标表的标识信息，扫描HDFS回收站中的当前检查点目录与历史检查点目录，以获得目标表在HDFS回收站中对应的目标目录地址。并且获取目标表的元数据。进而结合目标表的元数据与目标目录地址，构建目标表的历史数据表。使得用户能够基于目标表与历史数据表进行数据排查。避免了用户使用HDFS相关命令对HDFS回收站的排查造成的作业复杂度。并且，由于该历史数据表是基于用户需求和HDFS回收站构建的，因此HDFS文件存储层无需通过冗余存储来全量存储目标表的备份表，从而降低了资源占用。
主权项：1.一种数据排查方法，其特征在于，包括：为用户的客户端安装配置信息，所述配置信息包含用于访问HDFS回收站和Hive查询服务的访问信息；所述访问信息包括访问权限信息与代理状态信息，所述访问权限信息包含Hive查询服务的访问权限与HDFS回收站的访问权限；所述代理状态信息用于指示是否开启Hive查询服务代理；当接收到用户的数据排查请求时，根据所述数据排查请求中的目标表的标识信息与Hive查询服务的访问权限，登录Hive查询服务，获得所述目标表在HDFS中的存储目录地址；所述数据排查请求包括数据稽核请求、数据修复请求或数据恢复请求；根据所述代理状态信息获得所述用户对应的HDFS回收站的回收地址；对所述回收地址中的当前检查点目录与历史检查点目录进行扫描，获得对应的子目录列表；所述子目录列表包含至少一个HDFS回收站存储地址；将所述子目录列表与所述存储目录地址进行逐一匹配，将匹配成功的HDFS回收站存储地址作为所述目标目录地址；获取所述目标表的元数据；根据所述目标表的元数据与所述目标目录地址，构建所述目标表的历史数据表；将所述历史数据表的表名信息反馈给用户，以使所述用户基于所述目标表与所述历史数据表进行数据排查。
全文数据：
权利要求：
百度查询： 恒生电子股份有限公司 一种数据排查方法、装置、电子设备、计算机可读存储介质及程序产品
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号