robots.txt别写错模板，全站屏蔽蜘蛛俩月不来，收录直接是零

新手做网站，robots.txt写错了，把整个网站都屏蔽了，蜘蛛一个都不来，收录零，查了半天才发现文件配置错了。robots.txt几个要点：第一，别写Disallow: /把整个站屏蔽，新手直接复制网上的模板，不小心把全站屏蔽，蜘蛛根本进不来；第二，把后台目录、安装目录、上传目录屏蔽，不让蜘蛛爬这些没用的页面，浪费爬虫配额；第三，sitemap地址写在robots.txt里，告诉蜘蛛你的站点地图在哪，蜘蛛顺着地图爬所有文章；第四，写完robots.txt，在百度站长平台用robots检测工具测一下，看是不是真的屏蔽了不该屏蔽的页面，别上线了才发现全站被屏蔽。

我之前新站，写完robots.txt，直接写了Disallow: /，蜘蛛俩月都不来，后来在站长平台检测，发现全站被屏蔽，改完之后蜘蛛一周就开始抓内容。很多新手觉得robots.txt就是个小文件，随便写个模板就行，写反了直接把全站关在搜索引擎门外，忙活半天内容，蜘蛛根本看不到，写完一定要用工具检测一遍。