下载站别把链接直接挂页面，爬虫一个月爬走几百G，流量费超了好几百

新手做源码下载站，下载链接直接挂在页面上，爬虫直接把所有源码批量爬走，自己的服务器流量全被爬虫占满，正常用户下载还慢，其实下载链接做几个处理，既防爬，用户下载也顺。第一，下载链接别直接是公开地址，生成带时效的临时链接，过期就失效，爬虫爬的链接过几天就用不了，没法批量下载；第二，别把源码压缩包放在网站根目录，存在对象存储里，用CDN加速，小站带宽根本扛不住用户下载大文件；第三，别放全量的源码包，预览图、演示地址先给用户，确认需要了再给下载链接，不然用户随便下，流量全浪费；第四，下载链接定期检查，别放了半年，链接失效了用户点进去404，体验特别差。

我之前做源码站，下载链接直接挂页面，爬虫一个月爬走我几百G的源码，流量费用超了好几百，之后做临时时效链接，源码存对象存储，流量费用直接降了80%，用户下载速度还快。很多新手做下载站，把下载链接直接公开，爬虫批量爬，流量全白给，做几个简单的处理，省流量还能防止别人批量抄你的资源。