日志里的爬虫别乱封，把真百度蜘蛛封了，半个月不收录，解封第二天就来

新手看网站日志，一堆蜘蛛来爬，分不清哪个是真百度蜘蛛，哪个是恶意爬虫，乱封IP，把真蜘蛛也封了，其实看日志里的爬虫标识，就能分清。第一，真百度蜘蛛的UA带Baiduspider，IP是百度的官方IP段，那种假蜘蛛UA是别的IP，全是恶意爬虫；第二，看爬虫的访问频率，真蜘蛛一天爬几十次，假爬虫一秒爬几百次，就是CC攻击；第三，恶意爬虫、垃圾蜘蛛，直接在防火墙里封IP，别浪费带宽让它爬；第四，真蜘蛛来爬的记录，看它爬了哪些页面，把没爬到的新文章主动推给站长平台。

我之前看日志，把一个假百度蜘蛛的IP封了，真蜘蛛来的时候也被防火墙拦了，半个月没收录，解封之后，蜘蛛第二天就来了，之后学会区分真蜘蛛的UA和IP，再也没误封过。很多新手看到日志里的爬虫就全封，结果把真搜索引擎蜘蛛也封了，收录直接掉，分清真假爬虫，既防恶意攻击，又不影响正常收录。