龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：北京国双科技有限公司
申请日：2022-12-20
公开（公告）日：2024-06-21
公开（公告）号：CN118227867A
主分类号：G06F16/951
分类号：G06F16/951
优先权：
专利状态码：在审-公开
法律状态：2024.06.21#公开
摘要：本发明公开了一种网页爬取方法及装置，涉及爬虫技术领域，主要目的在于节约爬取资源，提升页面爬取的效率。本发明主要的技术方案为：在对当前页面执行爬取操作时，获取当前页面的页码；判断页码对应的实际码位与预置码位是否匹配，实际码位是根据海明码纠错队列中的数据码位对应的添加规则确定的，预置码位是根据海明码纠错队列中的数据码位对应的排列顺序确定的；若否，则基于上一已爬页面包含的下页链接确定目标爬取页面，并在目标爬取页面爬取完毕后继续执行对下一页面的爬取操作；若是，则确定当前页面为目标爬取页面，并在目标爬取页面爬取完毕后继续执行对下一页面的爬取操作。本发明用于具有多页面的网页爬取。
主权项：1.一种网页爬取方法，其特征在于，所述方法包括：在对当前页面执行爬取操作时，获取所述当前页面的页码，所述当前页面为目标网页包含的多个页面中的任一页面；判断所述页码对应的实际码位与预置码位是否匹配，其中，所述实际码位是根据海明码纠错队列中的数据码位对应的添加规则确定的，所述预置码位是根据所述海明码纠错队列中的数据码位对应的排列顺序确定的；若否，则基于上一已爬页面包含的下页链接确定目标爬取页面，并在所述目标爬取页面爬取完毕后继续执行对下一页面的爬取操作；若是，则确定所述当前页面为所述目标爬取页面，并在所述目标爬取页面爬取完毕后继续执行对下一页面的爬取操作。
全文数据：
权利要求：
百度查询： 北京国双科技有限公司 一种网页爬取方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号