网站慢别着急升级带宽，封掉这几个恶意爬虫，1M带宽也能跑的飞快

新手网站刚上线，1M带宽没几天就满了，打开网站慢的要死，查日志才发现是恶意爬虫一秒几百次请求，把带宽全占了，其实屏蔽爬虫特别简单，几个步骤做完，带宽立刻降下来。第一，先看Nginx访问日志，找到哪个IP一分钟请求几百次，直接在Nginx里把这个IP封掉，别让它继续占带宽；第二，把恶意爬虫的User-Agent，比如专门爬内容的spider名字，在Nginx里直接return 403，这些爬虫根本不是正常用户，没必要给它访问；第三，开CDN的WAF防护，恶意爬虫直接在CDN节点就被拦了，根本到不了你的源站，带宽直接降一大半；第四，别把全站地图随便放公开位置，不然爬虫顺着地址把你整个站爬一遍。

我之前的小站，1M带宽被爬虫爬满，用户根本打不开，把IP和UA在Nginx里封了之后，带宽直接从100%降到20%，打开立刻就快了。很多新手遇到网站慢，就想着升级带宽，其实大部分时候就是恶意爬虫占了带宽，把这些爬虫封掉，小带宽也能跑的飞快。真的，隔一段时间看一眼访问日志，把异常IP封掉，网站速度立刻就上来，不用花钱升级带宽。