robots.txt

robots.txt是什么

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

语法：最简单的 robots.txt 文件使用两条规则：

• User-Agent: 适用下列规则的漫游器

• Disallow: 要拦截的网页

 

几个常用robots.txt文件

1：禁止百度爬行所有文件：

User-agent: Baiduspider

Disallow: /

User-agent: baiduspider

Disallow: /

2：禁止所有蜘蛛爬行任何文件：

User-Agent: *

Disallow: /

3：允许所有蜘蛛爬行所有文件

User-Agent: *

Disallow:

4：所有蜘蛛不能爬行某个文件

User-agent: *

Disallow: /admin/

5：综合实例

User-agent: *

Disallow: /XML-RPC/

Disallow: /ADMIN/

Disallow: /CSS/

Disallow: /DATA/

Disallow: /FUNCTION/

Disallow: /IMAGE/

 

robots.txt分析

尽管搜索引擎宣称其遵守robots.txt文件。但是事实如何呢?

众所周知，淘宝禁止百度蜘蛛爬行其任何文件，我们site一下，看看结果

搜索site:www.taobao.com

http://www.baidu.com/s?wd=site%3Awww.taobao.com

搜索结果如下：

手机淘宝

...

www.taobao.com/wap/mobile/index.php 1K 2009-3-11 - 百度快照

可以看到，收录信息里面有80条，显示出来的有标题，和网页地址，快照时间。点击快照进去，是没有任何内容的。

另外一个案例：

site:www.duhougan.org

http://www.baidu.com/s?wd=site%3Awww.duhougan.org

搜索结果如下：

http://www.duhougan.org/

...

www.duhougan.org/ 1K 2009-3-11 - 百度快照

robots.txt结论

在此可以发现，其实[robots.txt 文件] 其实是无效。百度蜘蛛一样可以爬标题，url。但是不会爬里面里面。（或者爬了，收进其数据库，不放出来。）

 

robots.txt问题

新网站上线，使用robots.txt文件禁止蜘蛛爬行，但是读后感www.duhougan.org还是在robots.txt删除前收录了。以后是否会影响其收录和排名呢？请有兴趣的朋友继续追踪。

下一篇« 走进2009年深圳点石茶话会
上一篇2009深圳点石 »
对本文有任何疑问，作者seozy欢迎大家回复