网页爬虫

最近主机吧发现网站服务器网盘也在大量增加，而且带宽也出现了增加，这也导致网站出现了一定程度的卡慢。 为此，主机吧查询了下网站日志，发现恶意机器人软件在大量请求网站，已经达到了疯狂的地步。 每秒种爬行了N次，虽然影响不大，但是如果主机吧开启缓存功能的话，这些爬虫可以在一小时之内产生大量的垃圾缓存文件，非常恶心。 解决主机吧的应对办法是启用WAF应用防火墙，如百度云防护、京东云星盾都可以拦截，刚好主机…