seo优化中的robots是啥?关于robots文件涉及的符合介绍

seo优化中的robots是啥?robots会影响seo优化效果吗?我们该如何利用robots大化地优化网站呢?今天，小编就从robots的定义出发，跟大家聊聊robots与seo优化的联系程度。

1、seo优化所说的robots是什么?

其实，robots是一个根目录文件，是网站跟搜索引擎爬虫程序之间的一个协议。主要功能是告诉搜索引擎，网站中哪些内容可以抓取，哪些内容不能抓取。

因此，搜索引擎在抓取页面前，首先会检测该网站有无robots文件，如果有蜘蛛就会根据该协议去抓取网页;但若是没有robots文件，就表示蜘蛛可以随意抓取网站的任意页面。

2、robots文件涉及的符号含义

①通配符*：代表所有搜索引擎蜘蛛的名称

②User-agent：用于描述搜索引擎robot的名字

在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。

③Disallow：用于描述不希望被访问到的一个URL

这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。

④Allow： 用于描述希望被访问的一组URL

与Disallow项相似，可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。