龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京众标智能科技有限公司
摘要：本发明提供了一种分布式动态可配置的爬虫平台及爬虫方法，用于从海量站点内定向抓取数据，包括用户输入爬虫需求，依据爬虫需求形成爬虫抓取规则；解析爬虫抓取规则形成爬虫任务，解析爬虫调度配置形成爬虫任务调度；根据爬虫任务对爬虫平台内多个爬虫子模块排序，选择排序最高的爬虫子模块作为最优爬虫运行节点；启动并执行爬虫任务，分别抓取m个目标站点的n个指定页面，解析指定页面URL并去重处理后加入待爬列队，直至m个目标站点中n个指定页面全部被抓取；对待爬列队中指定页面的结构化数据相似度检测，去重处理以降低冗余度，形成并保存爬虫结果。爬虫方法能够从海量站点内定向抓取数据，以快速高效的获取用户所需数据。
主权项：1.一种爬虫方法，其特征在于，采用分布式动态可配置爬虫平台从海量站点内定向抓取数据，爬虫方法包括：用户输入爬虫需求，依据爬虫需求形成爬虫抓取规则，其中爬虫抓取规则的形成方法为：依据需求清单在分布式动态可配置爬虫平台上进行通用参数配置，通用参数至少包括规则名称、抓取页面网址、调度间隔的配置；通用参数配置完成后，打开指定页面插件，自动识别页面结构自动生成提取表达式，依据提取表达式生成相应爬虫抓取规则；若如果无法自动识别页面结构时，则经人工编写xpath及正则表达式，生成爬虫抓取规则；对爬虫抓取规则进行审核，审核通过后进入爬虫抓取规则发布流程；解析爬虫抓取规则形成爬虫任务，解析爬虫调度配置形成爬虫任务调度；根据爬虫任务对分布式动态可配置爬虫平台内多个爬虫子模块排序，选择排序最高的爬虫子模块作为最优爬虫运行节点；启动最优爬虫运行节点并执行爬虫任务，分别抓取m个目标站点的n个指定页面，解析指定页面URL并进行去重处理后加入待爬列队，直至m个目标站点中n个指定页面全部被抓取；对待爬列队中指定页面的结构化数据进行相似度检测，去重处理以降低冗余度，形成并保存爬虫结果。
全文数据：
权利要求：
百度查询： 北京众标智能科技有限公司 一种分布式动态可配置的爬虫平台及爬虫方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号