当搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt。如果存在,搜索蜘蛛就会根据该文件中的规则是否包含屏蔽的路径,告知蜘蛛不被抓取收录;如果不存在,默认所有蜘蛛都可以被抓取的。像PHP动态页面(包括伪静态)、敏感的后台管理地址等这样的,你的网站结构不同,要屏蔽的路径数量实在太多,不能一一手动设置,因此,大可可以参照以下规则这样设置:

User-agent: *
Disallow: /*?*
Disallow: /*#*
Disallow: /*.php$

另一个方法,不想国外蜘蛛、伪蜘蛛来抓取你的网站,当然这可以减少对网站抓取的频率次数,也能提升网站性能。
譬如百度、搜狗等这些国内蜘蛛,除这几个之外,其它蜘蛛一刀切的全部屏蔽对网站的抓取。

User-agent: Baiduspider
Disallow: /*?*
Disallow: /*#*
Disallow: /*.php$ 
User-agent: *
Disallow: /
点赞

发表回复

后才能评论

评论(1)