首页资讯动态 网站优化

网站robots应该怎么写?注意什么?
时间:2020-07-08 阅读:57次 来源:robots
  相信大多数的seo新手对robots的写法并不了解,甚至robots是什么都不一定知道!今天我们就来与大家说一下robots的写法与注意事项!

网站robots应该怎么写?注意什么?

  一、什么是robots

  robots是一个协议,给搜索引擎蜘蛛看的,告诉搜索引擎那些文件不准抓取,那些文件可以抓取,就像一个守门

  的保安站在门口,有goog比如入学xian要看校规一样,robots文件是放在根目录里面的,格式为robots.txt

  二、robots应该怎么写?

  1、robots文件解读

  User-agent:*

  User-agent指的是针对谁,允许谁的意思,*指的匹配所有的意思,整句话可以理解为允许所有的意思

  User-agent:Baiduspider指的是允许百度蜘蛛抓取

  allow指的是允许

  /指的是目录下面的层几,路径层次

  allow:/指的是允许抓取整个网站的目录

  Disallow指的是不允许

  Disallow:/指的是不允许抓取整个网站的目录

  Disallow:/data/指的是不允许抓取data/下面的文件

  $:美元符号指的是匹配文件类型的意思,比如:jpg,png,txt,html等文件格式

  2、robots需要屏蔽的内容

  Disallow:/api/

  Disallow:/data/

  Disallow:/sourcel/

  Disallow:/install/

  Disallow:/template/

  3、网站地图可以写入robots吗

  网站地图有两种,一种是html的,另一种是xml的,蜘蛛di一时间访问的是robots,所以我们把网站的地图也放在这里,更容易让蜘蛛知道我们网站的文件有什么,两种文件地图都可以写入robots里面!

  4、如何写一个简单的robots

  User-agent:*

  Disallow:/api/

  Disallow:/data/

  Disallow:/sourcel/

  Disallow:/install/

  Disallow:/template/

  三、robots应该注意什么问题?

  1、一定不要写j对路径,就是不要带我们网站域名。用/代替就可以。

  2、注意robots文件zhong的所有符号都是在英文状态下写的,比如:Disallow:/wp-admin/zhong“:”是英文状态下的。

  3、注意空格;例如:Disallow:/wp-admin/zhong":"后面紧跟着是一个空格;

  4、注意大小写;例如:Disallow:/wp-admin/zhongDisallow的“D”是大写的。

  5、robots是有生效时间的,是由百度决定的,几天或者两个月以内,所以,一定不要随便屏蔽整站。

  6、还有一点要弄清楚的就是:

  Disallow:/help意思是禁止蜘蛛访问/help.html、/helpabc.html、/help/index.html所有的带help的文件及文件夹。

  Disallow:/help/则是禁止蜘蛛访问/help/index.html这种形式的路径,允许访问/help.html、/helpabc.html,这两个是不一样的,大家要记清楚。
联系我们
工作时间
周一至周六 08:30-18:00
我们的地址
深圳市龙华新区龙华街道和平东路金銮时代大厦8001
点击按钮在线咨询
在线客服 在线客服 在线客服

© Copyright 2016-2019 深圳蚂蚁网络.All Rights Reserved. sitemap1  sitemap2  sitemap3  粤ICP备17017147号-2

网站地图