首页 » 互联网资讯 » 正文

垃圾爬虫为啥禁止不了?

我明明添加了

User-agent: panscient.com
Disallow: /

User-agent: *
Crawl-delay: 100

web日志里还是会有访问



黑龙江网友 钛上刀 评论:
​这​种​直​接UA​屏​蔽​吧
让他爬呗,这个有啥

你的站可真够卡的,刷新+一分多才打开内容页,电信


黑龙江网友 逝风888 评论:

你的站可真够卡的,刷新+一分多才打开内容页,电信

要的就是这效果。反正就是挂个样子。域名不能空着。
不过没那么夸张吧,买的老鹰的虚拟主机。我开了listspeed


安徽网友 z983755267 评论:

要的就是这效果。反正就是挂个样子。域名不能空着。
不过没那么夸张吧,买的老鹰的虚拟主机。我开了lists …

怀疑你是不是用的1元一年的空间,进入内容页一分多,返回首页几十秒,再次进入内容页最少一分多,整站图片加载更别提了


黑龙江网友 刚sir 评论:
有爬虫不好么

发表评论