网站慢别着急升级带宽，封掉这几个恶意爬虫，1M带宽也能跑的飞快

新手网站刚上线，带宽1M，没几天CPU就满了，打开网站慢的要死，查日志才发现是恶意爬虫一秒几百次请求，把带宽全占了。屏蔽恶意爬虫特别简单，几个步骤做完，带宽立刻降下来。第一，先看Nginx的访问日志，找到哪个IP请求频率最高，一分钟几百次的，直接在Nginx里把这个IP封掉，别让它继续占带宽；第二，把恶意爬虫的User-Agent，比如那些专门爬内容的spider名字，直接在Nginx配置里return 403，这些爬虫根本不是正常用户，就是来扒你内容的，没必要给它访问；第三，开CDN的WAF防护，恶意爬虫直接在CDN节点就被拦了，根本到不了你的源站，带宽直接降一大半；第四，别把自己网站的全站地图给恶意爬虫，定期清理日志里的异常IP，不然爬虫占满带宽，正常用户打开都慢。

我之前的小站，1M带宽，被个爬虫一秒爬20次，正常用户根本打不开，把IP和UA在Nginx里封了之后，带宽直接从100%降到20%，打开立刻就快了。很多新手遇到网站慢，以为是服务器配置不够，其实大部分时候就是恶意爬虫占了带宽，把这些爬虫封掉，小带宽也能跑的飞快。真的，隔一段时间看一眼访问日志，把异常IP封掉，网站速度立刻就上来了，不用花钱升级带宽。