巅云智能建站平台搭建版(创业门户版)火爆上线,终身授权!新增:文章智能采集+全站真静态打包+城市分站+智能小程序+非法词过滤+H5自适应+智能链词等功能功能详情
帮助文档Help

怎么利用robots文件做好网站优化让蜘蛛更好的抓取网站?

一佰互联网站制作(www.yinxi.net) 发布日期 2019-05-03 18:57:25 浏览数: 218

  robots文件存在于网站根目录,是用来告诉百度蜘蛛那些应该抓取,那些不应该抓取。正确使用robots文件有助于做好seo优化,robots文件的核心词汇就是allow和disallow用法。百度官网是认可这个文件的,在百度站长平台上也有robots这个栏目,点击进入,就可以看到你网站robots文件是否编写正确了。

  百度robots文件使用说明

  1、robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。

  2、您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。

  3、Robots工具暂不支持https站点。

  4、Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

  

  上图我给的一个例子中,disallow语句有问题,原因是把英文的冒号写成了中文的冒号。

  当然直接输入网站根目录加上robtots.txt文件也可以

  

  User-agent:*   是用来置顶那些搜索引擎蜘蛛可以抓取的,一般默认设置

  Disallow:/category/*/page/ 分类目录下面翻页后的链接,比如,进入校赚网分类目录 "推广运营经验"目录后,在翻页一次,就成了 stcash.com/category/tuiguangyunying/page/2形式了

  Disallow:/?s=* Disallow:/*/?s=*  搜索结果页面和分类目录搜索结果页面,这里没必要再次抓取。

  Disallow:/wp-admin/ Disallow:/wp-content/ Disallow:/wp-includes/   这三个目录是系统目录,一般都是屏蔽蜘蛛抓取

  Disallow:/*/trackback  trackback的链接

  Disallow:/feed Disallow:/*/feed Disallow:/comments/feed  订阅链接

  Disallow:/?p=*   文章短链接,会自动301跳转到长连接

  例如,朱海涛博客之前就被收录过短连接

  Disallow:/*/comment-page-*   Disallow:/*?replytocom* 这两个我在之前文章有过说明,来自于评论链接,很容易造成重复收录。

  在robots.txt文件的最后还可以制定sitemap文件 Sitemap:http://***.com/sitemap.txt

  sitemap地址指令,主流是txt和xml格式。在这里分享一段张戈所写txt格式的simemap文件。

  将上述代码保存到txt文件,上传到根目录,并且在robots.txt文件中指定即可

  这里给大家共享下我的robots.txt文件

复制内容到剪贴板
  1.   User-agent: *   
  2.   
  3.   Disallow:/wp-admin/   
  4.   
  5.   Disallow: /*/comment-page-*  
  6.  
  7.   Disallow: /*?replytocom*  
  8.  
  9.   Disallow: /wp-content/  
  10.  
  11.   Disallow: /wp-includes/  
  12.  
  13.   Disallow: /category/*/page/   
  14.   
  15.   Disallow: /*/trackback  
  16.  
  17.   Disallow: /feed  
  18.  
  19.   Disallow: /*/feed   
  20.   
  21.   Disallow: /comments/feed   
  22.   
  23.   Disallow: /?s=*   
  24.   
  25.   Disallow: /*/?s=*  
  26.  
  27.   Disallow: /attachment/  
  28.  
  29.   Disallow: /tag/*/page/   
  30.   
  31.   Sitemap: http://www.stcash.com/sitemap.xml  
一佰互联是全国知名建站品牌服务商,我们有九年网站建设、网站制作、网页设计、php开发和域名注册及虚拟主机服务经验,提供的自助建站服务更是全国有名。近年来还整合团队优势自主开发了可视化多用户”巅云建站系统“3.0平台版,拖拽排版网站制作设计,轻松实现pc站、手机微网站、小程序、APP一体化全网营销网站建设 ,已成功的为全国上百家网络公司提供自助建站平台搭建服务。

相关新闻more

14
05月
网站seo诊断优化分析该怎么做_巅云建站

布局分物理布局和逻辑布局,而对网,站排名影响最重要的是,由链接形成的逻辑布局。 定位。也许出乎你料想,影响网,站排名的主要身分不是SEO... >>详情

11
05月
专业网站建设公司、专业网站设计公司在帮助小说

专业网站建设在帮助小说网站建设中为社会做出了那些贡献,专业建站公司在小说行业中也是具有一席之地的,专业网站建设公司在建设网站方面还是出于领先... >>详情

06
12月
建站

什么是建站?建站的过程定义:建站即建网站,是设计网页系统通过虚拟主机解译,域名绑定虚拟主机即可访问网站的一个完整过程。建站要素:从建站的定义... >>详情

11
12月
企业网页设计前要有所准备才能不出岔

经常有用户朋友在做网页设计的时候没有做好充分的准备就开台了,而且要求立马开始设计。然而在设计的时候,资料准备不充分,而且在提供之后又要进行修... >>详情

高端网站建设

美工兼顾SEO,为企业电子商务营销助力!

电话:

023-85725751
建站

产品

域名注册 虚拟主机 云服务器 企业邮局
智能建站 APP打包 微站/小程序 创业平台
网站推广 媒体营销 智能采集 AI机器人
400电话 短信营销 店销机器人
私人定制 门户网站