买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：壹药网科技(上海)股份有限公司

摘要：本发明公开一种爬虫行为的识别方法及防范系统，包括：S1：接收用户的访问请求；S2：存储连接地址、访问对象和状态码；S3：判断连接地址是否为具有爬虫行为的连接地址；是，转向S6；否，转向S4；S4：判断访问请求与爬虫行为的相似度；相似度在第一范围，接受访问请求；相似度在第二范围，转向S5；相似度在第三范围，转向S6；S5：验证码校验；是，接受访问请求；否，转向S6；S6：将连接地址存入黑名单。本发明的有益效果在于：分别对用户的累计访问请求和实时访问请求进行分析，提高了对爬虫行为识别的准确度，实现了较好的识别效果。并通过合理设置相似度范围及验证码校验机制来实现对正常访问请求和爬虫行为的有效区分，提高用户体验。

主权项：1.一种爬虫行为的识别方法，其特征在于，包括：步骤S1：接收用户的访问请求，并记录连接地址、访问对象和状态码；步骤S2：将所述连接地址、所述访问对象和所述状态码存入一日志模块；步骤S3：采用所述日志模块对所述连接地址的所述访问对象与所述状态码进行分析，并根据分析结果判断所述连接地址是否为具有爬虫行为的连接地址；若是，转向步骤S6；若否，转向步骤S4；步骤S4：采用一分析模块判断所述访问请求与爬虫行为的相似度；若相似度在一预设的第一范围，接受所述访问请求并向所述用户返回请求的所述访问对象，随后结束判断；若相似度在一预设的第二范围，转向步骤S5；若相似度在一预设的第三范围，转向步骤S6；步骤S5：对所述用户发起验证码校验，并判断所述用户是否通过校验；若是，接受所述访问请求并向所述用户返回请求的所述访问对象，随后结束判断；若否，转向步骤S6；步骤S6：将所述连接地址存入黑名单，随后结束判断；所述步骤S3包括：步骤S31：判断所述连接地址是否在预设的高风险连接地址范围内；若是，增加所述相似度的数值，随后转向步骤S32；若否，转向所述步骤S32；步骤S32：根据所述访问对象和所述状态码判断是否符合第一访问规律；所述第一访问规律为在第一预设周期内来自一个连接地址的访问对象的请求中包括了高风险请求，且状态码为404；若是，判断所述连接地址为具有爬虫行为的连接地址，随后转向步骤S6；若否，转向步骤S33；步骤S33：根据所述访问对象判断是否符合第二访问规律；所述第二访问规律为在第二预设周期内对多个id相邻的访问对象进行访问；若是，判断所述连接地址为具有爬虫行为的连接地址，随后转向步骤S6；若否，转向步骤S34；步骤S34：根据所述状态码和所述连接地址判断是否符合第三访问规律；所述第三访问规律为在第三预设周期内多次出现预设的异常状态码，且连接地址来自于互联网数据中心；若是，判断所述连接地址为具有爬虫行为的连接地址，随后转向步骤S6；若否，转向步骤S35；步骤S35：判断自所述连接地址发出的所述访问请求的次数是否在预定时间内超过访问限值；若是，增加所述相似度的数值，随后转向步骤S4；若否，转向步骤S4。

全文数据：

权利要求：

百度查询： 壹药网科技(上海)股份有限公司 一种爬虫行为的识别方法及防范系统