香港高速VIP云机房火爆上线啦!无需备案,开通即用!配套《巅云自助建站系统3.0》将带给您飞一般的可视化拖拽建站体验,欢迎免费体验。

建站专题

企业网站建设做好怎么写r​o​b​o​t​s.​t​x​t​?

一佰互联网站开发设计(www.yinxi.net) 发布日期 2019-08-13 21:32:40 浏览数: 43

企业网站建设做好怎么写robots.txt? - 网站建设公司


那么我们得先来了解一下robots.txt文件是什么,有什么作用。

 

当搜索引擎爬去我们页面时有一种爬虫蜘蛛叫做“Baiduspider”

 

蜘蛛在爬去网站页面之前,首先会去访问网站根目录下面的一个文件,就是robots.txt。这个文件其实就是给“蜘蛛”的规则,如果没有这个文件,蜘蛛会认为你的网站同意全部抓取网页。

 

Robots.txr文件是一个纯文本文件,可以告诉蜘蛛哪些页面可以被抓取(收录),哪些页面不能被抓取。

 

写robots.txt要注意的问题:

 

1、只有在你的网站包括不希望被搜索引擎收录的内容时,才利用robots.txt文件。要是您希望搜索引擎收录网站上全部内容,切勿创建 robots.txt文件,不要创建一个内容为空的robots.txt文件。这一点通常被人们忽视,实际上创建空的robots.txt文件对搜刮引擎非常不利。

 

2、如果你不想自己写robots.txt文件,那就请Google帮你写。登录Google平台,有生成robots.txt文件的。

 

3、robots.txt文件是以纯文本格式存在的txt文件。

 

4、robots.txt必须放在网站的根目录中。最上层的robots.txt文件必须这样被访问:如巅云建站写的robots.txt http://www.yinxi.net/robots.txt

 

5、robots.txt通常在某个分目录中还可以存在,但是要是与顶级目录中的robots.txt有不同,则以顶级目录中robots.txt为准。

 

6、写robots.txt时要严格根据以下大小写形式来写

 

7、User-agent: *

Disallow: /

这种格式不但仅是阻止抓取页面,更主要的是你的网站被收录了,然后又把robots.txt文件修改成以上格局,那么你的网站将在搜索引擎中被删除,整个地删除。

 

8、元标志对一样平常的网站来说可有可无,不过你还是得认识:

<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>(不容许抓取该页面,不容许跟着该页面上的链连续续抓取)

 

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>(容许抓取该页面,容许跟着该页面上的链连续续抓取)

 

<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>(容许抓取该页面,不容许跟着该页面上的链连续续抓取)

 

<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>(不容许抓取该页面,容许跟着该页面上的链连续续抓取)

 

9、必要删除一些被搜索引擎收录的特定网页,目前好像只有Google这么做了

 

10、如果你的网站比较简单,那么下面的格式足够你利用的了。要是比较大的话,必要访问这里而又不必要访问那边,阻止这个文件又要容许那个文件,容许访问访问带有“?”标记的特定网页等等,那么你必须结合下面的格式详细研究符合于你网站的robots.txt文件写法。

 

接下来就和大家说说怎么写robots.txt?

 

1、阻止搜索引擎访问网站中全部的动态页面(动态页面便是URL中任何带有“?”的页面)

User-agent: *

Disallow: /*?*

 

2、限定搜索引擎访问某一特定文件后缀形式的网页。

User-agent: *

Disallow: /*.后缀形式(如.html、.htm、.php等等)

 

3、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。

User-agent: *

Allow: .后缀形式(如.html、.htm、.php等等)$

Disallow: /

 

4、仅克制某一搜索引擎访问你的网站。 Google是googlebot 百度是baiduspider

User-agent: baiduspider

Disallow: /

 

5、阻止搜索擎访问网站特定某一文件格式的文件(注意不是网页)

User-agent: *

Disallow: /*.(文件格局:如gif、jpg等等)$

 

6、仅仅容许某一搜索引擎访问你的网站。同样百度是baiduspider Google是googlebot

User-agent: baiduspider

Allow:

 

 

User-agent: googlebot

Allow:

 

7、要是你网站的某个目录不想被搜索引擎收录,写法如下:

User-agent: *

Disallow: /目录名称1/

Disallow: /目录名称2/

Disallow: /目录名称3/

过细:不能写成Disallow: /目录名称1/ /目录名称2/ 这样的情势,每个目录要单独另起一行特别阐明。

 

8、容许全部的搜索引擎访问你的网站的任何部门,这是通常的用法。

User-agent: *

Disallow:

大概


User-agent: *

Allow: /

 

9、阻止全部搜索引擎访问网站的任何部门,也便是是阻止全部引擎收录你的网站。

User-agent: *

Disallow: /

 

10、容许搜索引擎访问特定目录中的网页

User-agent: *

Allow: /目录1/目录2(容许访问目录2中的网页)

Allow: /目录3/目录4(容许访问目录4中的网页)

Allow: /目录5/目录6(容许访问目录6中的网页)

Disallow: /目录1/

Disallow: /目录3/

Disallow: /目录5/

 

上面所介绍的都是几种常用的文件格式。详细的写法还要视个人的网站需求来定。

重庆网站建设公司,重庆巅云建站 http://www.yinxi.net/ 版权申明:本文章来源于网络,如有侵权,请联系,我们收到后立即删除,谢谢!特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有。


一佰互联是全国知名建站品牌服务商,我们有九年网站建设、网站制作、网页设计、php开发和域名注册及虚拟主机服务经验,提供的自助建站服务更是全国有名。近年来还整合团队优势自主开发了可视化多用户”巅云建站系统“3.0平台版,拖拽排版网站制作设计,轻松实现pc站、手机微网站、小程序、APP一体化全网营销网站建设 ,已成功的为全国上百家网络公司提供自助建站平台搭建服务。

相关新闻more

11
04月
20年前有多可怕?看看这10个辣眼睛的网站你

正如同我们所知道的,网页从诞生之初直到标准化经历了一个漫长的过程,随着网络、硬件、软件的逐步成熟,才有了今天我们所看到的丰富多彩的网络世界。... >>详情

06
08月
助建站哪个好,自助建站系统哪个好?智能建站平

助建站哪个好,自助建站系统哪个好?智能建站平台哪个比较好用? 自助建站哪个好,自助建站系统哪个好?智能建站平台哪个比较好用? 随着网络的逐... >>详情

20
04月
浅谈HTML5 服务器推送事件(Server

服务器推送事件(Server-sent Events)是基于WebSocket 协议的一种服务器向客户端发送事件&数据的单向通讯。目... >>详情

31
03月
网站运营推广:四条经验让你的网站运营更加得心

在互联网时代,几乎每一家企业都有自己的网站。网站等同于企业的名片,企业可以通过网站对自己的品牌和产品进行网站运营推广,也可以通过网站让更多用... >>详情

营业执照. cdn加速服务 备案系统认证 网络安全协会 我们的支付方式AAA认证
上海 北京 深圳 广州 天津 杭州 南京 武汉 成都 沈阳 大连 长沙 济南 青岛 苏州 福州 无锡 哈尔滨 宁波 重庆 大庆 厦门 西安 长春 珠海 郑州 海口 昆明 太原 石家庄 温州 合肥 乌鲁木齐 南宁 南通 合肥 兰州 呼和浩特 贵阳 烟台 秦皇岛 包头 唐山 银川 汕头 连云港 威海 西宁 湛江 北海 万州 涪陵 长寿 黔江 永川 丰都 忠县 江津 南川 开县 云阳 万盛 梁平 垫江 巫山 城口 建站宝盒 免费建站 门户网站建设 微信网站 手机网站 门户网站制作

7x24小时服务电话:18581389571 传真:023-85725751 免费建站交流群:236412099 139947842(自助建站交流) E-Mail:post@yinxi.net 网站投诉:
重庆楚捷科技有限公司 一佰互联©版权所有 自助建站(www.yinxi.net,Inc.) 2001-2020 All Rights Reserved 本站程序受法律保护,网站法律顾问:ITLAW-庄毅雄律师
中华人民共和国信息产业部网站备案号:渝ICP备12000592号