网站优化中的Robots协议

      Robots的本质是网站与搜索引擎的蜘蛛签署一份网页抓取协议，指定蜘蛛允许抓取网页的范围。在方面的主要作用是引导蜘蛛抓取网站，提升蜘蛛的抓取效率。大多数搜索引擎是遵循Robots协议，但并不是每个搜索引擎的蜘蛛都遵循Robots协议。

     Robots文件必须放在在网站的根目录下，因为搜索引擎抓取网页是从根目录开始，而蜘蛛抓取网站内容时会先检测Robots文件，按照Robots文件的规则去抓取网站内容（即要查看其它网站的Robots文件可以直接输入“域名/***”就能看到具体内容）。

     Robots与Nofollow的本质区别在于Nofollow只是在当前网页禁止蜘蛛跟踪超链接，而蜘蛛可能会通过其它路径抓取到被Nofollow的网页。而Robots是禁止搜索引擎索引Disallow的网页。也就是说在搜索引擎可以搜索到Nofollow掉的网页，但是搜索不到Robots Disallow的网页。

      Sitemap指定网站地图的路径（即Sitemap: ***）。User-agent指定具体的搜索引擎蜘蛛（User-agent: *，代表所有搜索引擎、User-agent: Baiduspider指定百度搜索引擎蜘蛛、User-agent:Googlebot指定谷歌搜索引擎蜘蛛）。Allow:是允许抓取的路径，Disallow:是禁止抓取的路径。可以使用通配符：Disallow: /*.css$禁止蜘蛛爬取所有css文件。

    以上是为您简单阐述的robots协议，更多网站优化知识，请您关注：***；欢迎您的来电洽谈：***（彭先生）