首页资讯动态 网站优化

robots的写法及作用
时间:2020-11-24 阅读:33次 来源:深圳网站优化
robots的写法及作用
搜一搜
深圳蚂蚁网络网站建设
深圳蚂蚁网络网站建设小编今天给大家整理了一篇有关《robots的写法及作用》的相关文章,更多详细内容,欢迎继续往下阅读,下面就由小编来分享给大家!


robots的写法及作用


  robots.txt文件应该放在网站根目录下,用好robots是很容易为你网站提权的。主要作用是让搜索引擎抓取什么,不让搜索引擎抓取什么
robots的写法及作用
  一、robots.txt 的写法:

  1. User-agent: *

  意思是允许所有搜索引擎收录,星号代表所有。

  2. Disallow:/

  意思是禁止搜索引擎收录页面。

  3. 禁止所有搜索引擎访问网站的所有部分

  User-agent: *

  Disallow: /

  4. 禁止百度索引你的网站

  User-agent: Baiduspider

  Disallow: /

  5. 禁止Google索引你的网站

  User-agent: Googlebot

  Disallow: /

  6. 禁止除Google外的一切搜索引擎索引你的网站

  User-agent: Googlebot

  Disallow:

  User-agent: *

  Disallow: /

  7. 禁止除百度外的一切搜索引擎索引你的网站

  User-agent: Baiduspider

  Disallow:

  User-agent: *

  Disallow: /

  8. 禁止蜘蛛访问某个目录

  (例如禁止admincssimages被索引)

  User-agent: *

  Disallow: /css/

  Disallow: /admin/

  Disallow: /images/

  9. 允许访问某个目录中的某些特定网址

  User-agent: *

  Allow: /css/my

  Allow: /admin/html

  Allow: /images/index

  Disallow: /css/

  Disallow: /admin/

  Disallow: /images/

  在SEO优化过程中,对于蜘蛛的了解和控制至关重要,关于robot.txt的写法还有很多,希望以上这些对大家有帮助。

  二、robots.txt 注意事项:

  1. 如果你希望搜索引擎收录网站上所有的内容,那么就不要建立robots.txt文件。

  2. 如果同时存在动态和静态链接,那么建议屏蔽动态链接。

  3. robots.txt只能是屏蔽站内文件的,对站外文件没有屏蔽功能。

  4. User-agent,Allow,Disallow,Sitemap的首字母都是大写的。

  5. User-agent,Allow,Disallow,Sitemap的冒号后面都是有空格的,没有写空格直接写接下来的内容会出错。

  6. 网站通常会屏蔽搜索结果页面。因为搜索结果页和正常展示的内容页相比,标题和内容上相同的,而这两个页面链接是不同的。那搜索引擎该将这篇文章归属于哪个内链呢,这样就会造成内链之间相互竞争,造成内部资源损耗。

  7. 建议屏蔽js文件。Disallow: /*.js$,以 .js 结尾的路径统统被屏蔽,这样就屏蔽了js文件。

  8. 路径是区分大小写的。Disallow: /ab/ 和 Disallow: /Ab/ 是不一样的。

  9. robots.txt会暴露网站相关目录,写robots.txt时要考虑到这一点。

  10. 有些seo会将文件直接备份在服务器中,文件是 .zip 格式,然后在robots.txt中屏蔽。个人不建议这样,这就是明显告诉人家你的备份文件位置。建议文件和数据都备份到本地。

  11. 必须命名为:robots.txt 都是小写,robot后面加"s"。


"

扫二维码与项目经理沟通

我们在微信上24小时为你服务



—— 企业互联网品牌建设服务商

"


  目前,robots写法robots作用标签聚合页面仍在完善中,后续将为您提供丰富、全面的关于robots写法robots作用的最新资讯、图片信息、文字内容,让您第一时间了解到关于robots写法robots作用的热门信息。小编将持续从百度新闻、搜狗百科、微博热搜、知乎热门问答以及部分合作站点渠道收集和补充完善信息。


我们可以提供这些服务
企业互联网项目开发

深圳蚂蚁网络网站建设公司提供,系统定制,微信开发、小程序定制、微商城开发、网站建设、网站排名优化推广等互联网项目定制开发服务。

城市分站

佛山网站建设 | 东莞网站建设 | 从化网站建设 | 广州网站建设 | 惠来网站建设 | 惠州网站建设 | 揭阳网站建设 | 普宁网站建设 | 汕头网站建设 | 汕尾网站建设 | 韶光网站建设 | 布吉网站建设 | 福田网站建设 | 龙岗网站建设 | 龙华网站建设 | 南山网站建设 | 肇庆网站建设 | 中山网站建设 | 珠海网站建设

版权声明

深圳蚂蚁网络声明:如发现内容存在版权问题,烦请提供相关信息发邮件至3310459304@qq.com,我们将及时沟通与处理。本站内容除声明原创外其他均来源于网络,涉及言论、版权与本站无关。如果您对互联网营销方面有哪些不明白的可以继续访问本站,返回首页

联系我们
工作时间
周一至周六 08:30-18:00
我们的地址
深圳市龙华新区龙华街道和平东路金銮时代大厦8001
点击按钮在线咨询
在线客服 在线客服 在线客服

深圳蚂蚁网络网站建设公司专为北京广州成都深圳杭州重庆上海东莞济南西安、徐州、珠海、郑州、福州、青岛、南宁、河南、厦门、贵阳、武汉、无锡、南昌、宁波、温州、盐城、天津、石家庄、沈阳、苏州、嘉兴、淄博、南京、台州、江门、合肥、济宁、佛山、长沙、汕头、潍坊、洛阳、肇庆、黑龙江、海口、湖州、广东、大连、信阳、桂林、滨州、舟山、陕西、莱芜、中山、赣州、海南、河北、兰州、哈尔滨、常州、吉安、承德、新乡、郴州、东营、淮安、惠州、昆明、湘潭、云南、漳州、西宁、银川、万州、廊坊、益阳、濮阳、福田、太原、长春、南通、龙岩、莆田、青海、岳阳、泰安、龙华、湖南、烟台、娄底、乌鲁木齐、四川、资阳、江津、十堰、常德、贵州、绍兴、闵行、随州、咸阳、渭南、孝感、商丘、忻州、静安、宿迁、六安、聊城、衡阳、甘肃、商洛、九江、大庆、连云港、巴中、镇江、宜昌、滁州、扬州、泰州、泉州、鄂州、山西、衡水、南充、松江、株洲、遵义、安徽、咸宁、北海、山东、呼和浩特、宝安、柳州、唐山、邯郸、齐齐哈尔、黄石、日照、黄冈、宝鸡、徐汇、荆州、马鞍山、梧州、内蒙古、江苏、衢州、淮北、广西、绵阳、拉萨、湛江、荆门、恩施、张家界、怀化、邢台、泸州、鞍山、嘉定、淮南、龙岗、沧州、天门、湖北、宝山、潜江、三亚、邵阳、海淀、新疆、牡丹江、辽宁、合川、黄浦、吉林、四平、茂名、涪陵、浙江、松原、仙桃、三门峡、崇左、永州等全国各地提供微商城小程序系统定制设计开发服务。

© Copyright 2016-2021 深圳蚂蚁网络.All Rights Reserved.  粤ICP备17017147号-2

XML地图 HTML地图 TXT地图 RSS地图

网站地图