恭喜浪潮云信息技术股份公司王东伟获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浪潮云信息技术股份公司申请的专利一种数据质量检测的方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114968996B 。
龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210506858.X,技术领域涉及:G06F16/215;该发明授权一种数据质量检测的方法及装置是由王东伟;张睿智;率为朋;朱亚静;李重阳设计研发完成,并于2022-05-11向国家知识产权局提交的专利申请。
本一种数据质量检测的方法及装置在说明书摘要公布了:本发明涉及结构化和半结构化数据的质量检测和控制领域,一种数据质量检测的方法,具有如下步骤:S1、定义基础规则;S2、创建业务规则;S3、创建检测任务;S4、执行质量检测;S5、进行质量评分及总体波动率分析。与现有技术相比,本发明通过提供脚本引擎,允许用户以脚本的方式编写检测规则,降低了规则创建的难度,可以更加灵活的满足各种场景需要。
本发明授权一种数据质量检测的方法及装置在权利要求书中公布了:1.一种数据质量检测的方法,其特征在于,具有如下步骤:S1、定义基础规则;检测脚本符合JavaScript语言规范,所述检测脚本的方法签名中至少包括元组数据和检测列两项参数,所述检测脚本的返回值为Boolean类型,检测通过返回true,检测不通过返回false;客户端对用户创建的检测脚本进行基本正则校验,判断脚本的文法是否满足所述JavaScript的基本要求,客户端校验通过之后,在服务器端对脚本进行包括脚本的词法、语法和语义分析检验,若校验成功,则持久化到数据库中,否则,向用户给出错误原因,提示用户修改脚本;S2、创建业务规则;将定义的基础规则与数据源进行绑定,创建业务规则,根据用户所选择的基础规则,采用AJAX方式,获取到基础规则的问题描述与建议信息,并回显到页面中;S3、创建检测任务;用户根据业务需要创建检测任务,将检测的结果进行结构化或非结构化转存;在结构化转存时,设置转存的目的数据表,选择的转存目的数据表包含检测时间列、检测版本列、错误标志列和错误信息描述列,采用JDBC方式主动连接用户设置的转存目的表,获取到表的元数据信息,检测表中是否有上述检测列,如果没有将提示用户修改转存目的表;在非结构化转存时,将检测结果数据转存在存储载体上;S4、执行质量检测;调用脚本引擎执行检测任务,根据配置的校验规则对目标数据进行校验,生成问题数据列表和评分报告,具体的步骤如下:S401、对检测任务进行分布式调度,通过设置redis键值的方式,创建分布式任务锁,对任务进行分布式调度;S402、执行参数解析,对任务参数进行解析;S403、对检测规则列表进行解析,获取到对应的JavaScript脚本列表,创建java的ScriptEngineManager脚本执行环境,对用户编写的JavaScript脚本进行解析,预加载脚本;S404、获取目标检测数据,根据用户设置的检测范围对SQL进行解析,生成抽象语法树;S405、根据所述语法树生成数据抽取SQL,从目标数据源拉取数据,并将获取到的数据传入脚本执行环境中;S406、记录一元组中全部规则的校验结果,对于校验未通过的规则,系统获取到该规则对应的问题描述与建议处理方案,将异常数据元组与获取到的问题描述与建议处理方案一起记录下来;S407、判断任务是否开启问题数据存储选项,如果开启,将问题数据及问题描述与建议保存到elasticSearch非关系型数据库中;判断任务是否开启问题数据转存选项,如果开启,同时将问题数据转存至目标数据源,在数据转储处理中,继续判断,是否将正确数据也转存到所述数据源,如果开启,将校验正确的数据也转存到所述数据源中,否则,将问题数据及问题描述与建议存储到用户指定的数据源中;S5、进行质量评分及总体波动率分析。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浪潮云信息技术股份公司,其通讯地址为:250100 山东省济南市高新区浪潮路1036号浪潮科技园S01号楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。