robots.txt写错全禁，三个月零收录，改完配置，两周后开始收录流量回来

新手做网站，robots.txt乱配置，把所有页面都禁了，搜索引擎一个页面都不收录，网站零流量，其实robots.txt简单配置，别挡着搜索引擎。第一，默认允许所有爬虫抓，别上来就Disallow: /；第二，把后台路径、临时目录、缓存目录，在robots里禁了，别让爬虫抓没用的内容；第三，别把文章目录禁了，不然内容全不收录；第四，配置完用站长工具测，看是不是真的允许抓内容。

我之前网站，robots.txt写错，把所有页面都禁了，三个月没收录，改完正确的robots，两周后开始收录，流量慢慢回来。很多新手觉得robots.txt随便写，写错了搜索引擎啥都不抓。