下载链接直接公开,爬虫一晚上爬完所有资源占100G带宽,临时签名+登录下载就挡住
新手做源码站,下载链接直接放公开地址,爬虫脚本把所有源码全爬走,自己服务器带宽全被占,网站都卡,其实下载链接做个临时签名,爬虫拿不到。第一,别把真实下载地址直接写在页面里,生成临时带时效的签名链接,用户点的时候才生成;第二,下载链接10分钟过期,爬虫抓了链接也用不了;第三,要求用户登录才能下载,爬虫没账号,拿不到链接;第四,同一个用户1分钟最多点5次下载,挡住批量爬。
我之前源码站,下载链接直接放公开地址,爬虫一晚上把所有资源全爬完,占了100G带宽,服务器卡,改成临时签名链接+登录下载,爬虫爬不到了,带宽也正常了。很多新手觉得下载链接直接放就行,被批量爬走,服务器带宽全被耗光,简单做个签名,就挡住了。
本站源码来源于网络收集修改或者交换,甚至可能并非原创,如遇未经考证信息需持审慎态度。若有疑问,可联系本站处理。
0