【robots.txt】 文件的具体写法和作用
本文摘要: 导读:一般来说,学做SEO优化,对于robots.txt文件还是需要了解的,这个文件在某些特殊的地方会发挥一般来说,学做SEO优化,对于robots.txt文件还是需要了解的,这个文件在某些特殊的地方会发挥非常重要的作用,今天台州网络科技公司的SEO顾问就来和朋友说说r
导读:一般来说,学做SEO优化,对于robots.txt文件还是需要了解的,这个文件在某些特殊的地方会发挥
一般来说,学做SEO优化,对于robots.txt文件还是需要了解的,这个文件在某些特殊的地方会发挥非常重要的作用,今天台州网络科技公司的SEO顾问就来和朋友说说robots.txt文件的具体写法和相对应的作用,内容如下:

robots.txt文件的具体写法和作用 禁止百度搜索引擎收录的方法

【robots.txt】 文件的具体写法和作用

一.什么叫robots.txt文件?

百度搜索引擎通过一种程序robot(又称spider),自动访问互联网技术上的网页并获取网页信息。

您可以在您的网站中创建一个纯文本文档robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就能够不被百度搜索引擎收录了,或者指定百度搜索引擎只收录指定的内容。

二. robots.txt文件放在哪儿?

robots.txt文件应该放在网站网站根目录下。打个比方,当robots访问一个网站(比如//robots.txt这个文件,如果智能机器人找到这个文件,它就会根据这个文件的内容,来确定它访问限制的范围。

网站 URL 相应的 robots.txt的 URL

robots.txt

robots.txt

robots.txt

robots.txt

三. robots.txt文件的格式

robots.txt 文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:

: 。

在该文件中可使用#进行注解,具体操作方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow行,具体情况如下:

User-agent:

该项的值用于描述百度搜索引擎robot的名字,在 robots.txt 文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何智能机器人均有效,在 robots.txt 文件中, User-agent:* 这样的记录只能有一条。

Disallow :

该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,还可以是部分的,任何以Disallow 开头的URL均不会被robot访问到。例如 Disallow: /help 和/都不允许百度搜索引擎访问,而 Disallow: /help/ ,而不能访问/。

任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在 /robots.txt 文件中,至少要有一条Disallow记录。如果 /robots.txt 是一个空文件,则对于所有的百度搜索引擎robot,该网站都是开放的。

四. robots.txt文件用法举例

例1. 禁止所有百度搜索引擎访问网站的任何部分

下载该robots.txt文件 User-agent: *

Disallow: /

例2. 允许所有的robot访问

(或者还可以建一个空文件 /robots.txt file)

User-agent: *

Disallow:

例3. 禁止某个百度搜索引擎的访问

User-agent: BadBot

Disallow: /

例4. 允许某个百度搜索引擎的访问 User-agent: baiduspider

Disallow:

User-agent: *

Disallow: /

例5. 一个简单例子

在这个例子中,该网站有三个目录对百度搜索引擎的访问做了限制,即百度搜索引擎不会访问这三个目录。

需要注意的是对每个目录必须分开声明,而不要写成 Disallow: /cgi-bin/ /tmp/ 。

User-agent:后的* 具有特殊的含义,代表 any robot ,所以在该文件中不能有 Disallow: /tmp/* or Disallow: *.gif 这样的记录出现.

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

五. robots.txt文件参考文献

robots.txt文件的更具体设置,请参看以下资料:

Web Server Administrator s Guide to the Robots Exclusion Protocol

HTML Author s Guide to the Robots Exclusion Protocol

The original 1994 protocol description, as currently deployed

The -Draft specification, which is pleted or implemented

说明

本站采取了一些简单的防盗设置,如果您对本站的文章很感兴趣,请联系:youwen

评论

在你的中为Web Robot设计路标

愈来愈酷,上发布企业信息、进行电商已经从时髦演变成时尚。作为一个Web Master,你可能对HTML、Javascript、Java、 ActiveX了然于胸,但你是否知道什么叫Web Robot?你是否知道Web Robot和你所设 计的有哪些关系?

上的流浪汉--- Web Robot

有时你会无缘无故地发现你的的内容在一个百度搜索引擎中被索引,即使你从未与他 们有过任何联系。其实这正是Web Robot的功劳。Web Robot实际上是一些程序,网址的HTML文件结构,递归地检索网络站点所有的内容。这些程序有时被叫 蜘蛛(Spider) , 网上流浪汉(Web Wanderer) , 网络蠕虫(web worms) 或Web 网上知名的百度搜索引擎站点(Search Engines)都 有专门的Web Robot程序来完成信息的采集,例如Lycos,Webcrawler,Altavista等,以及中文百度搜索引擎站点例如北极星,网易,GOYOYO等。

Web Robot就象一个闯入者,不管你是否在意,它都会做真实的自己主人的职责,任劳 任怨、全神贯注地奔波于因特网的空间,当然也会光临你的,检索内容并生成它所需要的记录格式。或许有的内容你乐于世人皆知,但有的内容你却不愿被 洞察、索引。难道你就只能任其 横行 于自己空间,能否指挥和控制Web Robot的行踪呢?答案当然是肯定的。如果你阅读了本篇的下文,就能够象一个交通 警察一样,布置下一个个路标,告诉Web Robot应该如何去检索你的,哪些可以检索,哪些不能访问。

其实Web Robot能听懂你的话

不要以为Web Robot是毫无组织,毫无管束地乱跑。很多Web Robot软件给网络站点的 管理人员或网页页面创作者提供了两种方法来限制Web Robot的行踪:

1、Robots Exclusion Protocol 协议

网络站点的管理人员可以在站点上建立一个专门格式的文件,来指出站点上的哪一部分 可以被robot访问, 这个文件放在站点的网站根目录下,即robots.txt. target= _blank robots.txt.

2、Robots META tag

一个网页作者可使用专门的HTML META tag ,来指出某一个网页是否可以被索 引、分析或链接。

这些方法适合于大部分的Web Robot,至于是否在软件中实施了这些方法,还取决于 Robot的开发人员,并非可以保证对任何Robot都灵验。假如你急需解决保护自己内容,则应考虑采用诸如增加密码等其他保护方法。

使用Robots Exclusion Protocol协议

当Robot访问一个 Web 站点时,比如,它先去检查文件robots.txt target= _blank robots.txt。如果这个文件存在,它便会按照这样的记录格式去分析:

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

以确定它是否应该检索站点的文件。这些记录是专门给Web Robot看的,一般的浏览 者大概永远不会看到这个文件,所以千万别天马行空地在里面加入形似 类的HTML语句或是 How do you do? where are you from? 之类假情假意的问候语。

在一个站点上只能有一个 /robots.txt 文件,而且文件夹名称的每个字母要求全部是小 写。在Robot的记录格式中每个单独的 Disallow 行表示你不希望Robot访问的URL, 每个URL必须单独占一行,不能出现 Disallow: /cgi-bin/ /tmp/ 这样的病句。同时在一个记录中不能出现空行,这是由于空行是多个记录分割的标志。

User-agent行指出的是Robot或其他代理的名称。在User-agent行, * 表示一个特殊的含义---所有的robot。

下面是几个robot.txt的例子:

在整个网络服务器上拒绝所有的robots:

User-agent: *

Disallow: /

允许所有的robots访问整个站点:

User-agent: *

Disallow:

或者产生一个空的 /robots.txt 文件。

网络服务器的部分内容允许所有的robot访问

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /private/

拒绝某一个专门的robot:

User-agent: BadBot

Disallow: /

只允许某一个robot光顾:

User-agent: WebCrawler

Disallow:

User-agent: *

Disallow: /

最后我们给出 站点上的robots.txt:

# For use by

User-agent: W3Crobot/1

Disallow:

User-agent: *

Disallow: /Member/ # This is restricted to W3C Members only

Disallow: /member/ # This is restricted to W3C Members only

Disallow: /team/ # This is restricted to W3C Team only

Disallow: /TandS/Member # This is restricted to W3C Members only

Disallow: /TandS/Team # This is restricted to W3C Team only

Disallow: /Project

Disallow: /Systems

Disallow: /Web

Disallow: /Team

使用Robots META tag方式

Robots META tag 允许HTML网页作者指出某一页是否可以被索引,或是否可以用来查找更多的链接文件。目前只有部分robot实施了这一功能。

Robots META tag的格式为:

象其他的META tag一样,它应该放在HTML文件的HEAD区:

...

Robots META tag指令使用逗号隔开,可使用的指令包括 [NO]INDEX 和[NO]FOLLOW。INDEX 指令指出一个索引性robot是否可以对本页进行索引;FOLLOW 指 令指出robot是否可以跟踪本页的链接。缺省的情况是INDEX和FOLLOW。例如:

最后总结一下:一个好的SEOer、一个好的Web 站点管理人员应该将robot的管理考虑在内,使robot给自己的服务, 同时又不损害自己网页的安全。今天有关robots.txt文件的内容就到此为止,希望对小伙伴们有所帮助。