服务器带宽天天被打满，翻日志发现一半是恶意爬虫在偷内容

18年美食站流量涨上来，服务器带宽突然天天被打满，我登服务器看Nginx日志，发现一半的请求都是恶意爬虫，不停抓我网站的文章内容，把带宽占了大半，真实用户的请求反而挤不进来。我在Nginx配置里加了爬虫屏蔽规则，把那些恶意爬虫的user-agent全禁掉，又把图片、静态资源开了CDN，之后带宽占用直接降了70%，网站打开又快了。之前总觉得带宽被打满是正常用户多，结果一看日志，大部分都是爬虫在偷内容，占了资源。很多新手做站跟我当初一样，带宽满了就想升级带宽，根本不看看日志里的请求是不是恶意爬虫，白白多花钱升级带宽，还挡不住爬虫。真的，带宽不够的时候，先翻日志看请求，把恶意爬虫屏蔽掉，比直接升级带宽划算多了。