robots讲解-创新互联

在SEO网站优化中robots.txt文件的编写直接影响网站优化的成果。

正所谓，细节决定成败，robots.txt文件要怎么写？

一、为什么要写robots.txt文件，它的作用是什么？

       robots.txt是用来告诉搜索引擎网站上哪些内容可以被访问、哪些不能被访问。

          当搜索引擎访问一个网站的时候，   它首先会检查网站是否存在robots.txt，如果有则会根据文件命令访问有权限的文件。

       每个网站需要根据自身的要求写好robots.txt文件，robots.txt文件长什么样子？我们可以看看几个网站

       的robots.txt文件。

淘宝robots.txt文件

百度robots.txt文件

网站为什么要写robots.txt，主要有四点：

1、保护网站安全

2、节省流量

3、禁止搜索引擎收录部分页面

4、引导蜘蛛爬网站地图

二、robots.txt的写法与步骤

1、定义搜索引擎

     用User-agent：来定义搜索引擎，其中*表示所有，Baiduspider表示百度蜘蛛，Googlebot表示谷歌蜘蛛。

     也就是说User-agent：*表示定义所有蜘蛛，User-agent：Baiduspider表示定义百度蜘蛛。

2、禁止与允许访问

      Disallow: /表示禁止访问，Allow: /表示允许访问。

      在写robots.txt时需特别注意的是，/前面有一个英文状态下的空格（必须是英文状态下的空格）。

3、禁止搜索引擎访问网站中的某几个文件夹，以a、b、c为例，写法分别如下：

     Disallow: /a/

     Disallow: /b/

     Disallow: /c/

   3-1、禁止搜索引擎访问文件夹中的某一类文件，以a文件夹中的js文件为例，写法如下：

              Disallow: /a/*.js

4、只允许某个搜索引擎访问，以Baiduspider为例，写法如下：

      User-agent: Baiduspider

      Disallow:

5、禁止访问网站中的动态页面

      User-agent: *

      Disallow: /*?*

6、只允许搜索引擎访问某类文件，以htm为例，写法如下：

      User-agent: *

     Allow: .htm$

     Disallow: /

7、禁止某个搜索引擎抓取网站上的所有图片，以Baiduspider为例，写法如下：

     User-agent: F

     Disallow: .jpg$

     Disallow: .jpeg$

     Disallow: .gif$

    Disallow: .png$

    Disallow: .bmp$

三、robots.txt文件存放位置

       robots.txt文件存放在网站根目录下，并且文件名所有字母都必须小写。

四、特别注意事项

       在写robots.txt文件时语法一定要用对，User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写，

      后面的字母小写，而且在:后面必须带一个英文字符下的空格。

      网站上线之前切记写robots.txt文件禁止蜘蛛访问网站，如果不会写就先了解清楚写法之后再写，以免给网站收录

      带来不必要的麻烦。

      robots.txt文件生效时间在几天至一个月之间，站长自身无法控制。但是，站长可以在百度统计中

      查看网站robots.txt  文件是否生效。

中国站长站robots文件在线生成：

http://tool.chinaz.com/robots/

创新互联www.cdcxhl.cn，专业提供香港、美国云服务器，动态BGP最优骨干路由自动选择，持续稳定高效的网络助力业务部署。公司持有工信部办法的idc、isp许可证， 机房独有T级流量清洗系统配攻击溯源，准确进行流量调度，确保服务器高可用性。佳节活动现已开启，新人活动云服务器买多久送多久。