最近主机吧发现网站服务器网盘也在大量增加，而且带宽也出现了增加，这也导致网站出现了一定程度的卡慢。
为此，主机吧查询了下网站日志，发现恶意机器人软件在大量请求网站，已经达到了疯狂的地步。
每秒种爬行了N次，虽然影响不大，但是如果主机吧开启缓存功能的话，这些爬虫可以在一小时之内产生大量的垃圾缓存文件，非常恶心。
解决主机吧的应对办法是启用WAF应用防火墙，如百度云防护、京东云星盾都可以拦截，刚好主机吧代理了这两款产品，考虑到SEO可能好一些，主机吧使用了百度云防护来进行防护。
成功接入，解析百度云防护cname记录，并部署SSL后，我们等待进入防护模板功能，创建防御模板。
开启CC防护，开启自定义访问策略，并添加策略。
策略选User-Agent 包含 然后写Wget/1.21.1，因为从请求日志可以看出，这个恶意爬虫的UA是Wget/1.21.1
点确认保存后，我们再进入百度云防护域名接入配置，开启自定义防护
选择刚创建的防御模板，保存。
然后我们等5分钟左右就可以正常拦截了。
通过这件事，我们需要意识到，网站运营选择安全CDN是非常重要的，现在互联网上的爬虫实在太多了，这些爬虫有是为了攻击，有的是为了采集，有的是为了抓取网站漏洞。安全CDN不仅可以给网站加速，还可以给网站做安全防护，是网站建设必备工具。
安全CDN我们推荐使用百度云防护、京东云星盾。
