建站专提News

企业网站建设做好怎么写r​o​b​o​t​s.​t​x​t​?

一佰互联网站开发设计(www.yinxi.net) 发布日期 2019-08-13 21:32:40 浏览数: 116

企业网站建设做好怎么写robots.txt? - 网站建设公司


那么我们得先来了解一下robots.txt文件是什么,有什么作用。

 

当搜索引擎爬去我们页面时有一种爬虫蜘蛛叫做“Baiduspider”

 

蜘蛛在爬去网站页面之前,首先会去访问网站根目录下面的一个文件,就是robots.txt。这个文件其实就是给“蜘蛛”的规则,如果没有这个文件,蜘蛛会认为你的网站同意全部抓取网页。

 

Robots.txr文件是一个纯文本文件,可以告诉蜘蛛哪些页面可以被抓取(收录),哪些页面不能被抓取。

 

写robots.txt要注意的问题:

 

1、只有在你的网站包括不希望被搜索引擎收录的内容时,才利用robots.txt文件。要是您希望搜索引擎收录网站上全部内容,切勿创建 robots.txt文件,不要创建一个内容为空的robots.txt文件。这一点通常被人们忽视,实际上创建空的robots.txt文件对搜刮引擎非常不利。

 

2、如果你不想自己写robots.txt文件,那就请Google帮你写。登录Google平台,有生成robots.txt文件的。

 

3、robots.txt文件是以纯文本格式存在的txt文件。

 

4、robots.txt必须放在网站的根目录中。最上层的robots.txt文件必须这样被访问:如巅云建站写的robots.txt http://www.yinxi.net/robots.txt

 

5、robots.txt通常在某个分目录中还可以存在,但是要是与顶级目录中的robots.txt有不同,则以顶级目录中robots.txt为准。

 

6、写robots.txt时要严格根据以下大小写形式来写

 

7、User-agent: *

Disallow: /

这种格式不但仅是阻止抓取页面,更主要的是你的网站被收录了,然后又把robots.txt文件修改成以上格局,那么你的网站将在搜索引擎中被删除,整个地删除。

 

8、元标志对一样平常的网站来说可有可无,不过你还是得认识:

<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>(不容许抓取该页面,不容许跟着该页面上的链连续续抓取)

 

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>(容许抓取该页面,容许跟着该页面上的链连续续抓取)

 

<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>(容许抓取该页面,不容许跟着该页面上的链连续续抓取)

 

<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>(不容许抓取该页面,容许跟着该页面上的链连续续抓取)

 

9、必要删除一些被搜索引擎收录的特定网页,目前好像只有Google这么做了

 

10、如果你的网站比较简单,那么下面的格式足够你利用的了。要是比较大的话,必要访问这里而又不必要访问那边,阻止这个文件又要容许那个文件,容许访问访问带有“?”标记的特定网页等等,那么你必须结合下面的格式详细研究符合于你网站的robots.txt文件写法。

 

接下来就和大家说说怎么写robots.txt?

 

1、阻止搜索引擎访问网站中全部的动态页面(动态页面便是URL中任何带有“?”的页面)

User-agent: *

Disallow: /*?*

 

2、限定搜索引擎访问某一特定文件后缀形式的网页。

User-agent: *

Disallow: /*.后缀形式(如.html、.htm、.php等等)

 

3、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。

User-agent: *

Allow: .后缀形式(如.html、.htm、.php等等)$

Disallow: /

 

4、仅克制某一搜索引擎访问你的网站。 Google是googlebot 百度是baiduspider

User-agent: baiduspider

Disallow: /

 

5、阻止搜索擎访问网站特定某一文件格式的文件(注意不是网页)

User-agent: *

Disallow: /*.(文件格局:如gif、jpg等等)$

 

6、仅仅容许某一搜索引擎访问你的网站。同样百度是baiduspider Google是googlebot

User-agent: baiduspider

Allow:

 

 

User-agent: googlebot

Allow:

 

7、要是你网站的某个目录不想被搜索引擎收录,写法如下:

User-agent: *

Disallow: /目录名称1/

Disallow: /目录名称2/

Disallow: /目录名称3/

过细:不能写成Disallow: /目录名称1/ /目录名称2/ 这样的情势,每个目录要单独另起一行特别阐明。

 

8、容许全部的搜索引擎访问你的网站的任何部门,这是通常的用法。

User-agent: *

Disallow:

大概


User-agent: *

Allow: /

 

9、阻止全部搜索引擎访问网站的任何部门,也便是是阻止全部引擎收录你的网站。

User-agent: *

Disallow: /

 

10、容许搜索引擎访问特定目录中的网页

User-agent: *

Allow: /目录1/目录2(容许访问目录2中的网页)

Allow: /目录3/目录4(容许访问目录4中的网页)

Allow: /目录5/目录6(容许访问目录6中的网页)

Disallow: /目录1/

Disallow: /目录3/

Disallow: /目录5/

 

上面所介绍的都是几种常用的文件格式。详细的写法还要视个人的网站需求来定。

重庆网站建设公司,重庆巅云建站 http://www.yinxi.net/ 版权申明:本文章来源于网络,如有侵权,请联系,我们收到后立即删除,谢谢!特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有。


一佰互联是全国知名建站品牌服务商,我们有九年网站建设、网站制作、网页设计、php开发和域名注册及虚拟主机服务经验,提供的自助建站服务更是全国有名。近年来还整合团队优势自主开发了可视化多用户”巅云建站系统“3.0平台版,拖拽排版网站制作设计,轻松实现pc站、手机微网站、小程序、APP一体化全网营销网站建设 ,已成功的为全国上百家网络公司提供自助建站平台搭建服务。

相关新闻more

02
05月
服务器IP:43.249.1.164解封中,

主机211.149.190.63,香港IP:43.249.1.164 于2016-05-02 19:05:26受到大规模DDOS攻击( 攻击... >>详情

26
03月
日本研究针对自动驾驶汽车的网络攻击

简介:更多全球网络安全资讯尽在E安全官网www.easyaq.com小编来报:日本警方计划研究如何应对可能发生的针对自动驾驶汽车的网络攻击案... >>详情

27
04月
PHP记录页面停留时间的方法

本文实例讲述了PHP记录页面停留时间的方法。分享给大家供大家参考,具体如下:首先在要监控的页面添加JS如下<script>var... >>详情

13
04月
展览馆网站设计都有哪些发展方向?

随着科技技术的发展,信息化和自动化的进步,展览馆网站的设计要注重的人的体验,需要强调观众的真实体验和人机互动,而传统的展览馆设计无法适应时代... >>详情

高端网站建设

美工兼顾SEO,为企业电子商务营销助力!

电话:

023-85725751
建站

产品

域名注册 虚拟主机 云服务器 企业邮局
智能建站 APP打包 微站/小程序 创业平台
网站推广 媒体营销 智能采集 AI机器人
400电话 短信营销 店销机器人
私人定制 门户网站