龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：百果园技术(新加坡)有限公司
摘要：本申请实施例公开了可动态扩展的分布式爬虫系统、数据处理方法及装置。本申请实施例提供的技术方案通过优化系统，在爬虫任务配置中隔离爬虫任务配置和条件配置，在执行爬虫任务时对不同任务信息的爬虫任务列入不同的任务队列等待，并且多线程分别执行不停任务队列的爬虫任务；通过降低系统内部的耦合度、提高了可动态扩展性能，避免内存泄露，大大提高开发效率，以及提高系统的吞吐量。
主权项：1.可动态扩展的分布式爬虫系统，其特征在于，包括依次连接的爬虫任务配置单元、分布式爬虫处理单元、爬虫结果队列单元和大数据处理单元；所述爬虫任务配置单元用于供用户配置爬虫任务和爬取内容限定条件，所述爬虫任务配置单元包括相互连接的任务配置模块和条件配置模块，所述任务配置模块用于供用户配置多个分别适用于不同平台的爬虫任务，所述条件配置模块用于供用户配置爬取内容限定条件，所述爬虫任务包括任务信息，所述任务信息包括平台信息和渠道信息；所述分布式爬虫处理单元用于接收爬虫任务，并根据爬虫任务的任务信息将该爬虫任务分配至与任务信息对应的爬虫任务队列，从多个爬虫任务队列中分别获取爬虫任务并根据该爬虫任务对应的爬取内容限定条件获取目标资源；所述爬虫结果队列单元用于接收所述目标资源并将所述目标资源进行缓存；所述大数据处理单元用于从爬虫结果队列单元读取目标资源，并根据所述目标资源执行目标资源处理动作，以获得与目标资源对应的目标数据并存储所述目标数据。
全文数据：
权利要求：
百度查询： 百果园技术(新加坡)有限公司 可动态扩展的分布式爬虫系统、数据处理方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号