申请/专利权人：深圳安科百腾科技有限公司

申请日：2024-04-10

公开（公告）日：2024-06-21

公开（公告）号：CN118035226B

主分类号：G06F16/215

分类号：G06F16/215;G06F16/242;G06F16/245;G06F16/26;G06F3/0486

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.05.31#实质审查的生效;2024.05.14#公开

摘要：本申请公开了一种复杂数据处理方法，涉及数据处理技术领域，通过数据处理模型将目标筛选模板的执行参数生成查询指令集；将查询指令集发送到数据处理引擎，以供数据处理引擎基于查询指令集在连接的各目标数据源中获取数据；通过数据处理模型将数据进行标准化后，将数据导入目标收集模板进行分析。通过数据处理引擎可以与各数据源进行连接，数据处理引擎基于查询指令从各目标数据源中获取满足目标筛选模板的筛选条件的数据，并将数据导入收集模板。工作人员只需要根据研究场景设置对应的收集模板和筛选模板即可，不需要根据研究场景进行软件开发，减少了前期准备时间，提高了数据处理效率。

主权项：1.一种复杂数据处理方法，其特征在于，包括：获取用户设置的目标处理模板对，所述目标处理模板对包括目标收集模板和目标筛选模板，所述目标收集模板和所述目标筛选模板为用户根据当前数据处理任务生成的收集模板和筛选模板，或用户根据当前数据处理任务从收集模板库和筛选模板库中选择的收集模板和筛选模板；判断所述目标处理模板对的执行参数是否需要修改；若否，则基于所述目标筛选模板的执行参数生成查询指令集；将所述查询指令集发送到数据处理引擎，以供所述数据处理引擎基于所述查询指令集在各目标数据源中获取数据，得到初始数据集合，所述查询指令集包括至少一个查询指令，所述目标数据源为在预先连接的各数据源中指定的一个或多个数据源；通过数据处理模型将所述初始数据集合中的数据进行标准化，得到标准数据集合；将所述标准数据集合中的数据导入所述目标收集模板，得到目标数据集合；所述用户根据当前数据处理任务生成目标收集模板和目标筛选模板的过程包括：基于目标数据字典和用户输入的执行参数，生成当前数据处理任务的目标收集模板和目标筛选模板，所述目标数据字典为用户导入的行业数据字典或通过预先训练完成的数据处理模型对用户导入的数据集中的非结构化数据进行数据整理生成的数据字典；所述数据处理引擎基于所述查询指令集在各目标数据源中获取数据的过程，包括：判断各目标数据源中的各数据是否满足当前查询指令；若目标数据源中的数据满足当前查询指令，则将数据添加到预选数据集合；判断当前查询指令是否为最后一个查询指令；若不是最后一个查询指令，则将下一查询指令作为新的当前查询指令，并判断预选数据集合中各数据是否满足当前查询指令，并将预选数据集合中不满足当前查询指令的其余数据进行删除，得到更新后的预选数据集合，并返回执行判断当前查询指令是否为最后一个查询指令的步骤；若是最后一个查询指令，则判断预选数据集合中各数据是否存在连接关系；若存在连接关系，则将预选数据集合中的数据，以及与预选数据集合中具有连接关系的关联数据作为初始数据集合中的数据；若不存在连接关系，则将预选数据集合作为初始数据集合。

全文数据：

权利要求：

百度查询： 深圳安科百腾科技有限公司 一种复杂数据处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD