robots.txt 规则
robots.txt语法详解
robots.txt语法详解一、什么是robots.txt？robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。
Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robot s.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
语法：最简单的robots.txt 文件使用两条规则：• User-Agent: 适用下列规则的漫游器• Disallow: 要拦截的网页Allow 允许语法是和Disallow结合起来使用的二、robots.txt使用语法一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
例如：User-agent: *Disallow: /admin/ 后台管理文件Disallow: /require/ 程序文件Disallow: /attachment/ 附件Disallow: /images/ 图片Disallow: /data/ 数据库文件Disallow: /template/ 模板文件Disallow: /css/ 样式表文件Disallow: /lang/ 编码文件Disallow: /script/ 脚本文件允许所有搜索引擎访问网站的所有部分或者建立一个空白的文本文档，命名为robots.txt或者写为User-agent: *Disallow:或者User-agent: *Allow: /禁止所有搜索引擎访问网站的所有部分User-agent: *Disallow: /禁止百度索引你的网站User-agent: BaiduspiderDisallow: /禁止Google索引你的网站User-agent: GooglebotDisallow: /禁止除Google外的一切搜索引擎索引你的网站User-agent: GooglebotDisallow:User-agent: *Disallow: /禁止除百度外的一切搜索引擎索引你的网站User-agent: BaiduspiderDisallow:User-agent: *Disallow: /禁止蜘蛛访问某个目录User-agent: *Disallow: /css/Disallow: /admin/Disallow: /images/Allow: /admin/a.htmlAllow: /admin/b.html允许访问某个目录中的某些特定网址User-agent: *Allow: /css/myAllow: /admin/htmlAllow: /images/indexDisallow: /css/Disallow: /admin/Disallow: /images/使用“*”，限制访问某个后缀的域名（*号来匹配字符序列）例如索引访问admin目录下所有ASP的文件User-agent: *Disallow: /admin/*.asp使用$字符（$匹配结束符）指定与网址的结束字符进行匹配。
百度robots编写规则
百度认可的Robots编写规则一、robots.txt文件的格式"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optional space>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。
该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行,详细情况如下：1、User-agent:该项的值用于描述搜索引擎robot的名字。
在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。
如果该项的值设为*，则对任何robot均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。
如果在"robots.txt"文件中，加入"User- agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的Disallow 和Allow行的限制。
2、Disallow:该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。
例如"Disallow:/help"禁止robot 访问/help.html、/helpabc.html、/help /index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。
SEO优化之robots文件的语法介绍及其应用实例
以上的robots.txt文件可以帮助我们对于搜索引擎的访问做一个限制，这里需要注意的有几个方面。
1、 robots.txt文件必须处于网站根目录下，而且必须命名为robots.txt
2、 robots.txt文件的文件名全部是小写字母，没有大写字母。
3、 如果对于robots.txt文件的写法把握不准，那么可以直接放一个空的文本文档，命名为robots.txt即可。
好了，以上我们介绍了robots.txt的写法。这时候有一个问题，有些时候我们会遇到一些实际的特殊情况，那么遇到特殊情况我们应当怎样处理呢？一下就对限制搜索引擎的原标签（META）做一个介绍。
这里需要注意的是，不可把两个对立的反义词写到一起，例如
<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">
或者直接同时写上两句
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
第一种情况：限制网页快照
很多搜索引擎都提供一个网页快照的功能。但是网页快照功能却有很多的弊端，例如事实内容在网页快照中更新不及时、索引网页快照浪费大量的服务器资源等。因此，我们有些时候可能并不需要搜索引擎来索引我们某个页面的网页快照。
解决这样问题的办法很简单，只需要在你的网页元标记中（<head>和</head>之间）放置如下的一段代码。
<META NAME="ROBOTS" CONTENT="NONE">
Robots协议（爬虫协议、机器人协议）
Robots协议（爬⾍协议、机器⼈协议）Robots协议（也称为爬⾍协议、机器⼈协议等）的全称是“⽹络爬⾍排除标准”（Robots Exclusion Protocol），⽹站通过Robots协议告诉搜索引擎哪些页⾯可以抓取，哪些页⾯不能抓取。
____________________________________Robots协议也称为爬⾍协议、爬⾍规则、机器⼈协议，是⽹站国际互联⽹界通⾏的道德规范,其⽬的是保护⽹站数据和敏感信息、确保⽤户个⼈信息和隐私不被侵犯。
“规则”中将搜索引擎抓取⽹站内容的范围做了约定,包括⽹站是否希望被搜索引擎抓取,哪些内容不允许被抓取,⽽⽹络爬⾍可以据此⾃动抓取或者不抓取该⽹页内容。
如果将⽹站视为酒店⾥的⼀个房间,robots.txt就是主⼈在房间门⼝悬挂的“请勿打扰”或“欢迎打扫”的提⽰牌。
这个⽂件告诉来访的搜索引擎哪些房间可以进⼊和参观,哪些不对搜索引擎开放。
____________________________________robots.txt（统⼀⼩写）是⼀种存放于⽹站根⽬录下的ASCII编码的⽂本⽂件，它通常告诉⽹络搜索引擎的漫游器（⼜称⽹络蜘蛛），此⽹站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
因为⼀些系统中的URL是⼤⼩写敏感的，所以robots.txt的⽂件名应统⼀为⼩写。
robots.txt应放置于⽹站的根⽬录下。
如果想单独定义搜索引擎的漫游器访问⼦⽬录时的⾏为，那么可以将⾃定的设置合并到根⽬录下的robots.txt，或者使⽤robots元数据（Metadata，⼜稱元資料）。
robots.txt协议并不是⼀个规范，⽽只是约定俗成的，所以并不能保证⽹站的隐私。
注意robots.txt是⽤字符串⽐较来确定是否获取URL，所以⽬录末尾有与没有斜杠“/”表⽰的是不同的URL。
robots.txt允许使⽤类似"Disallow: *.gif"这样的通配符[1][2]。
robots.txt文件格式详解
robots.txt⽂件格式详解在说明ROTBOT⽂件的编写语法前先来了解⼏个重要的概念！1. 什么是baiduspider？ baiduspider是Baidu搜索引擎的⼀个⾃动程序。
它的作⽤是访问互联⽹上的html⽹页，建⽴索引数据库，使⽤户能在Baidu搜索引擎中搜索到贵⽹站的⽹页。
2. baiduspider为什么⼤量访问我的⽹页？ baiduspider访问您的⽹页后，会⾃动分析每个⽹页上的⽂字内容并记忆⽹页⽹址，然后其它⽹友才能通过百度搜索引擎找到您的⽹页。
如果baiduspider不访问您的⽹页，那么所有通过baiduspider提供⽹页信息的搜索引擎都找不到您的⽹页，也就是说，其它⽹友在百度搜狐新浪雅虎Tom等⼏⼗个搜索⽹站都会找不到您的⽹页。
您可以到这⾥进⼀步了解搜索引擎。
3. baiduspider对⼀个⽹站服务器造成的访问压⼒如何？ 对于⼀个⽹站，baiduspider每访问⼀个⽹页会间隔30秒，不会造成过⼤压⼒。
4. 我不想我的⽹站被baiduspider访问，我该怎么做？ baiduspider象其它spider⼀样遵守互联⽹robots协议。
您可以利⽤robots.txt⽂件完全禁⽌baiduspider访问您的⽹站，或者禁⽌baiduspider访问您⽹站上的部分⽂件。
注意：禁⽌baiduspider访问您的⽹站，将使您的⽹站上的所有⽹页，在Baidu搜索引擎以及所有Baidu提供搜索引擎服务的搜索引擎中⽆法被搜索到，包括搜狐、新浪、雅虎、Tom、Lycos等⼏⼗个搜索引擎。
关于robots.txt的写作⽅法，请参看我们的介绍：robots.txt写作⽅法 5. 为什么我的⽹站已经加了robots.txt，还能在百度搜索出来？ 因为搜索引擎索引数据库的更新需要时间。
虽然baiduspider已经停⽌访问您⽹站上的⽹页，但Baidu搜索引擎数据库中已经建⽴的⽹页索引信息，可能需要2到4周才会清除。
robots.txt文件的作用和语法介绍
robots.txt文件的作用和语法介绍1、什么是robots.txt文件搜索引擎有自己的搜索习惯，当它对一个网站进行搜索时，哪些目录和文件要看，哪些不用看，它有自己的算法。
我们也可以自己建立一个robots.txt文件，告诉搜索引擎的机器人哪些可以被收录，哪些不需要收录。
这样可以节约自己网站的资源，提高被搜索引擎收录的效率。
２、robots.txt放置位置robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
３、robots相关语法1)User-agent: 适用下列规则的漫游器(搜索引擎)该项的值用于描述搜索引擎robot的名字。
在robots.txt文件中，如果有多条User-agent 记录，就说明有多个robot会受到robots.txt的限制，对该文件来说，至少要有一条User-agent 记录。
如果该项的值设为*，则对任何robot均有效。
●Google爬虫名称: Googlebot●百度（Baidu）爬虫名称：Baiduspider●雅虎（Yahoo）爬虫名称：Yahoo Slurp●有道（Yodao）蜘蛛名称：YodaoBot●搜狗（sogou）蜘蛛名称：sogou spider●MSN的蜘蛛名称(微软最新搜索引擎Bing蜘蛛名也是这个)：Msnbot２）Disallow: 拒绝访问的目录或文件该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。
例如：Disallow:/seo.html 表示禁止robot访问文件/seo.html３）Allow:允许访问的目录或文件该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。
例如：Allow:/hibaidu/ 表示允许robot访问目录/hibaidu/4)使用通配符"*"和"$"：$ 匹配行结束符。
robots.txt写法大全和robots.txt语法的作用(超详细)
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
即可
robots.txt写法如下：
User-agent: Googlebot
Disallow: /
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
Allow: /
2如果我们禁止所有搜索引擎访问网站的所有部分的话
robots.txt写法如下：
User-agent: *
Disallow: /
3如obots.txt写法访问我们网站的某个目录中的某些特定网址的话
robots.txt写法如下：
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
robots.txt写法如下：
User-agent: *
Disallow: /*?*
有些时候，我们为了节省服务器资源，需要禁止各类搜索引擎来索引我们网站上的图片，这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外，还可以采取直接屏蔽图片后缀名的方式。
示例12
robots.txt写法如下：
User-agent:*
Allow:/*?$
Disallow:/*?
Disallow:/ *?
一行将拦截包含 ? 的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号 (?)，而后又是任意字符串的网址）。Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址（具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 (?)，问号之后没有任何字符的网址）。
robots.txt协议
robots.txt协议robots.txt协议是一种让网站管理员告诉搜索引擎哪些页面可以抓取，哪些页面不可以抓取的协议。
这个协议是通过在网站的根目录下放置一个名为robots.txt的文本文件来实现的。
在这个文件中，网站管理员可以指定搜索引擎爬虫访问的权限，以及哪些页面不希望被搜索引擎收录。
这个协议的存在可以帮助网站管理员更好地控制搜索引擎爬虫的行为，从而更好地保护网站的内容和隐私。
robots.txt协议的作用主要有以下几个方面：1. 控制搜索引擎爬虫的访问范围。
通过robots.txt文件，网站管理员可以指定哪些页面可以被搜索引擎爬虫访问，哪些页面不可以被访问。
这样可以避免搜索引擎爬虫访问一些不希望被公开的页面，比如一些内部管理页面或者一些隐私内容。
2. 优化搜索引擎收录。
通过robots.txt文件，网站管理员可以指定哪些页面可以被搜索引擎收录，哪些页面不希望被收录。
这样可以帮助网站管理员更好地控制搜索引擎对网站内容的收录，从而更好地展现网站的核心内容。
3. 保护网站安全。
通过robots.txt文件，网站管理员可以排除一些敏感信息和目录，避免被搜索引擎爬虫访问，从而保护网站的安全。
在编写robots.txt文件时，网站管理员需要注意以下几点：1. 确保robots.txt文件位于网站的根目录下。
搜索引擎爬虫在访问网站时会首先查找robots.txt文件，因此这个文件必须放置在网站的根目录下，以确保搜索引擎爬虫能够正确地读取到这个文件。
2. 使用正确的语法。
robots.txt文件采用了一种特定的语法规则，网站管理员需要按照这种规则编写文件内容，以确保搜索引擎爬虫能够正确地解析和执行这个文件。
3. 定期更新文件内容。
随着网站内容的更新和变化，robots.txt文件的内容也需要相应地进行更新，以确保搜索引擎爬虫能够正确地访问和收录网站的最新内容。
总之，robots.txt协议是网站管理员在管理搜索引擎爬虫行为方面的重要工具，通过合理地编写和使用robots.txt文件，可以更好地控制搜索引擎对网站内容的访问和收录，从而更好地保护网站的内容和隐私，提升网站的安全性和搜索引擎优化效果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
robots.txt 规则
Robots.txt规则是指一种文本文件，用于告诉网络爬虫哪些网页可以被抓取和哪些不能被抓取。
这种文本文件一般位于网站的根目录下，并且被称为robots.txt。
在此文档中，我们将深入探讨Robots.txt规则的作用、常见用法以及一些常见问题和解决方法。
我们希望这份文档能够帮助所有网站管理员了解如何正确地使用Robots.txt规则。
一、Robots.txt规则的作用
网站管理员可以使用Robots.txt规则来控制搜索引擎爬虫在网站中爬取哪些页面。
通过使用Robots.txt规则，网站管理员可以：
1.控制搜索引擎爬虫的访问：通过告诉搜索引擎爬虫哪些页面可以被访问，哪些页面不能被访问，网站管理员可以控制搜索引擎爬虫的抓取范围，从而减少网站流量和服务器资源消耗。
2.保护网站的机密信息：如果网站包含一些敏感信息，例如用户帐号，Robots.txt规则可以用来防止搜索引擎爬虫抓取这些页面。
3.提高网站的安全性：Robots.txt规则还可以用来防止黑客针对网站进行攻击。
4.提高网站在搜索引擎中的排名：通过设置Robots.txt规则，网站管理员可以指示搜索引擎爬虫访问网站的重要页面，从而提高网站在搜索引擎中的排名。
二、Robots.txt规则的常见用法
Robots.txt规则由一组指令组成，每个指令对应一种行为。
下面列出了Robots.txt最常用的指令。
er-agent:该指令告诉搜索引擎爬虫哪些User-agent可以访问网站。
例如，要允许Googlebot访问网站，可以使用以下指令：
User-agent: Googlebot
这样，所有以Googlebot作为user-agent的搜索引擎爬虫都可以访问网站。
2.Disallow:该指令告诉搜索引擎爬虫哪些页面不能被访问。
例如，要禁止搜索引擎爬虫访问/admin目录下的所有页面，可以使用以下指令：
User-agent: * Disallow: /admin/
这样，所有搜索引擎爬虫都不能访问/admin目录下的任何页面。
3.Allow:该指令告诉搜索引擎爬虫哪些页面可以被访问。
例如，要允许搜索引擎爬虫访问图片目录下的所有图片，可以使用以下指令：
User-agent: * Allow: /images/
这样，所有搜索引擎爬虫都可以访问图片目录下的所有图片。
三、Robots.txt规则的常见问题和解决方法
1.语法错误：一个常见的问题是Robots.txt文件中的语法错误。
这样的错误可能会导致搜索引擎爬虫不能正确地解析文件，并且无法访问网站。
为了避免这种问题，网站管理员应该使用正确的语法方式编写Robots.txt规则，确保指令用正确的标点符号隔开。
2.限制了搜索引擎访问网站：因为Robots.txt规则告诉搜索引擎哪些页面不能被访问，因此网站管理员有可能意外地限制了搜索引擎的访问，从而导致网站在搜索引擎中的排名下降。
为了避免这种问题，网站管理员应该确保他们的Robots.txt规则不会限制搜索引擎爬虫访问他们的站点的所有部分。
3.无法阻止所有搜索引擎爬虫的访问：虽然Robots.txt规则可以用来阻止某些搜索引擎爬虫的访问，但不是所有搜索引擎爬虫都会遵守Robots.txt规则。
因此，如果网站管理员需要完全阻止搜索引擎爬虫的访问，他们可能需要使用其他方法。
为了解决这个问题，网站管理员可以使用meta标记或其他技术来防止搜索引擎爬虫抓取网站的某些部分。
四、总结
Robots.txt规则是防止搜索引擎爬虫访问特定页面和目录的有效方法。
通过正确地设置Robots.txt规则，网站管理员可以控制搜索引擎爬虫的访问，保护网站安全，提高网站在搜索引擎中的排名。
但是，网站管理员还应该注意Robots.txt规则的常见问题，并使用其他技术来确保他们的站点能够被完全保护。