今天，一但站长反馈网站打开卡慢，查询源服务器后，发现服务器带宽跑满了。
怀疑有攻击，但百度云防护并没有检测到有cc攻击，那可能是某些恶意请求导致的带宽占满，或者服务器被入侵所致。
我们让客户查询下网站请求日志，发现网站出现大量的机器人请求。
如：
Mozilla/5.0+AppleWebKit/537.36+(KHTML,+like+Gecko;+compatible;+GPTBot/1.2;++HTTPs://openai.com/gptbot)
Mozilla/5.0+(compatible;+SemrushBot/7~bl;++http://www.semrush.com/bot.html)
别小看这些机器人，哪果抓取频繁的话可以让服务器长期处于一个带宽非常高的状态，还影响服务器CPU占有率。
因此，我们必须要对这些机器人进行拦截，目前要自动拦截这些互联网恶意机器人，是需要一个叫bot防护功能，价格还是挺贵的，百度云防护也要企业版才有这个功能。
普通专业版虽然不能自动防护恶意机器人，但我们可以利用百度云防护的自定义访问策略进行拦截。
操作很简单，进入防护模板，创建防御策略
添加策略：User-Agent -包含-gptbot 阻断类型：拦截 如下图：
再添加下别的恶意机器人UA，然后在子域名配置开启自定义防护，关联这个模板即可。
我们来看效果，几分钟拦截了上百次恶意抓取。
查看服务器带宽请求，带宽峰值立即下来了。
所以，我们平时不要小看这些恶意机器人，这些机器人的IP段极多，每个IP请求频率并不高，导致防火墙并不会把这些机器人当成恶意攻击，所以不会被拦截。长期以往下，会造成服务器经常带宽 CPU占满。曾经有报告称，互联网上60%的流量来自这些恶意机器人，虽然有些夸张，但现实也差别不大。
