龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：成都锋卫科技有限公司
摘要：本发明涉及一种智能资源调度和高效并发的数据分类方法，将数据处理系统接收的全部数据存入ES形成顶级快照，定时对顶级快照按用户定义规则进行筛选与归集得到若干个子集合，每一个子集合的数据称为一个子快照。本发明的优点在于：可根据用户自定义的数据筛选与归集规则，并通过智能化硬件资源调度和可泛用的数据持久化判别逻辑，达到对数据的高效筛选与归集，且筛选、归集与分析同时可用的效果。
主权项：1.一种智能资源调度和高效并发的数据分类方法，其特征在于：所述数据分类方法包括：S1、将数据存入ES作为顶级快照，并更新顶级快照的时间戳为最后存入文件的时间；S2、根据过滤规则创建子快照，并将其放入周期性线程池中，线程池获取到子快照后判断子快照的执行结果是否需要数据持久化；S3、如果不需要持久化则将过滤规则转换为query_string表达式，并执行该表达式对顶级快照进行过滤；否则对顶级快照中的每个文档进行判断，若满足要求则将文档持久化到子快照对应的ES索引中；S4、将满足子快照过滤规则的文档数量持久化，作为一个指标展示给用户，并更新子快照时间戳；S5、重复步骤S2和S3直到子快照时间戳和顶级快照时间戳一致时，当前周期子快照分类任务完成；所述对顶级快照中的每个文件进行判断包括判断顶级快照中的文档是否符合子快照的过滤规则；判断方法包括：通过ESquery_string表达式进行判断和通过非ES原生支持的查询工具进行判断；所述过滤规则由用户自定义，该过滤规则同时支持query_string表达式和非ES原生支持过滤检索条件；仅对非ES原生支持过滤条件的子快照进行数据持久化，而ES原生支持过滤条件的子快照不做数据持久化；创建子快照时能对文档中的任意字段进行过滤，并在实际执行时将其转为为query_string表达式或非ES原生支持的查询工具或者操作，执行非ES原生支持的查询工具或者操作得到的结果将持久化到子快照对应的ES索引中，而ES原生支持的查询工具或者操作不做数据持久化，仅对数据进行摘要统计。
全文数据：
权利要求：
百度查询： 成都锋卫科技有限公司 一种智能资源调度和高效并发的数据分类方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号