龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京中安智达科技有限公司
摘要：本发明提供了一种网络数据爬虫使用浏览器多分身多代理的方法，包括统一管理平台模块：对多台机器上部署的爬虫实现状态监控、服务停止、启动、重启功能；任务模块：提供HTTP服务与数据库交互、下发任务、初始进程间通信的客户端；浏览器二次开发模块：初始化自定义浏览器分身内核、启动进程通信服务端、启动插件；插件模块：动态获取用户配置的代理IP、配置的用户名密码、自动分页浏览页面、保存数据；保护程序模块：定时检测、守护程序。本发明提供的方法，实现了在一台机器上使用多个账号登录同一个网站时，不再受到会话的限制，同时极大的保障了登录账号的安全性。
主权项：1.一种网络数据爬虫使用浏览器多分身多代理的方法，包括以下模块：（1）统一管理平台模块：提供对所有爬虫进行管理的统一平台，实现爬虫的状态监控、服务停止、管理功能；（2）任务模块：根据统一管理平台模块作为在单个机器上部署的客户端，控制本台机器上的爬虫并提供HTTP服务，以及通过HTTP将用户操作与数据库交互，还有调试功能；所述任务模块中，控制本台机器上的爬虫并提供HTTP服务，包括以下内容：B11打开任务：设置浏览器分身个数，并启动浏览器分身，同时根据浏览器个数创建对应的目录用于存放浏览器信息与爬取结果信息，启动与浏览器二次开发模块通信的客户端，用于发送指令信息；B12关闭任务：关闭打开的浏览器分身；B13执行命令：选择并执行插件目录下对应的插件，之后开始自动爬取页面；B14停止命令：停止打开的浏览器分身的线程；（3）浏览器二次开发模块：在单台机器上配置启动多个浏览器分身，通过用户的配置信息，初始化对应的浏览器分身，并建立与任务模块的通信，接收任务模块的指令，启动对应的插件模块，每台机器上存在一个进程；（4）插件模块：针对不同待爬取网站的类型开发的不同类型的插件，获取数据设置浏览器分身的代理IP，自动化登录页面，自动分页爬取页面并保存数据，每台机器上存在一个进程；（5）保护程序模块：守护本方法的主进程。
全文数据：
权利要求：
百度查询： 北京中安智达科技有限公司 一种网络数据爬虫使用浏览器多分身多代理的方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号