石家庄做网站,石家庄网站优化,石家庄网络推广,石家庄网络公司
当前位置:主页 > 新闻资讯 > 建站经验 >

怎么写r​o​b​o​t​s.​t​x​t​?

发表日期:2020-10-24 09:17文章编辑:优搜客浏览次数: 标签: 石家庄网站优化|石家庄优化公司|石家庄seo优化|    

当搜索引擎爬去我们页面时有一种爬虫蜘蛛叫做“Baiduspider”
 
蜘蛛在爬去网站页面之前,首先会去访问网站根目录下面的一个文件,就是robots.txt。这个文件其实就是给“蜘蛛”的规则,如果没有这个文件,蜘蛛会认为你的网站同意全部抓取网页。
 
Robots.txr文件是一个纯文本文件,可以告诉蜘蛛哪些页面可以被抓取(收录),哪些页面不能被抓取。
怎么写r​o​b​o​t​s.​t​x​t​?
写robots.txt要注意的问题:
 
1、只有在你的网站包括不希望被搜索引擎收录的内容时,才利用robots.txt文件。要是您希望搜索引擎收录网站上全部内容,切勿创建 robots.txt文件,不要创建一个内容为空的robots.txt文件。这一点通常被人们忽视,实际上创建空的robots.txt文件对搜刮引擎非常不利。
 
2、如果你不想自己写robots.txt文件,那就请Google帮你写。登录Google平台,有生成robots.txt文件的。
 
3、robots.txt文件是以纯文本格式存在的txt文件。
 
4、robots.txt必须放在网站的根目录中。最上层的robots.txt文件必须这样被访问:如广州seo网站写的robots.txt http://g.moonseo.cn/robots.txt
 
5、robots.txt通常在某个分目录中还可以存在,但是要是与顶级目录中的robots.txt有不同,则以顶级目录中robots.txt为准。
 
6、写robots.txt时要严格根据以下大小写形式来写
 
7、User-agent: *
Disallow: /
这种格式不但仅是阻止抓取页面,更主要的是你的网站被收录了,然后又把robots.txt文件修改成以上格局,那么你的网站将在搜索引擎中被删除,整个地删除。
 
8、元标志对一样平常的网站来说可有可无,不过你还是得认识:
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>(不容许抓取该页面,不容许跟着该页面上的链连续续抓取)
<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>(容许抓取该页面,容许跟着该页面上的链连续续抓取)
<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>(容许抓取该页面,不容许跟着该页面上的链连续续抓取)
<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>(不容许抓取该页面,容许跟着该页面上的链连续续抓取)
 
9、必要删除一些被搜索引擎收录的特定网页,参考
http://www.google.com/support/webmasters/bin/answer.py?answer=35301
目前好像只有Google这么做了
 
10、如果你的网站比较简单,那么下面的格式足够你利用的了。要是比较大的话,必要访问这里而又不必要访问那边,阻止这个文件又要容许那个文件,容许访问访问带有“?”标记的特定网页等等,那么你必须结合下面的格式详细研究符合于你网站的robots.txt文件写法。
 
接下来就和大家说说怎么写robots.txt?
 
1、阻止搜索引擎访问网站中全部的动态页面(动态页面便是URL中任何带有“?”的页面)
User-agent: *
Disallow: /*?*
 
2、限定搜索引擎访问某一特定文件后缀形式的网页。
User-agent: *
Disallow: /*.后缀形式(如.html、.htm、.php等等)
 
3、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。
User-agent: *
Allow: .后缀形式(如.html、.htm、.php等等)$
Disallow: /
 
4、仅克制某一搜索引擎访问你的网站。 Google是googlebot 百度是baiduspider
User-agent: baiduspider
Disallow: /
 
5、阻止搜索擎访问网站特定某一文件格式的文件(注意不是网页)
User-agent: *
Disallow: /*.(文件格局:如gif、jpg等等)$
 
6、仅仅容许某一搜索引擎访问你的网站。同样百度是baiduspider Google是googlebot
User-agent: baiduspider
Allow:
User-agent: googlebot
Allow:
 
7、要是你网站的某个目录不想被搜索引擎收录,写法如下:
User-agent: *
Disallow: /目录名称1/
Disallow: /目录名称2/
Disallow: /目录名称3/
过细:不能写成Disallow: /目录名称1/ /目录名称2/ 这样的情势,每个目录要单独另起一行特别阐明。
 
8、容许全部的搜索引擎访问你的网站的任何部门,这是通常的用法。
User-agent: *
Disallow:
大概
User-agent: *
Allow: /
 
9、阻止全部搜索引擎访问网站的任何部门,也便是是阻止全部引擎收录你的网站。
User-agent: *
Disallow: /
 
10、容许搜索引擎访问特定目录中的网页
User-agent: *
Allow: /目录1/目录2(容许访问目录2中的网页)
Allow: /目录3/目录4(容许访问目录4中的网页)
Allow: /目录5/目录6(容许访问目录6中的网页)
Disallow: /目录1/
Disallow: /目录3/
Disallow: /目录5/
上面所介绍的都是几种常用的文件格式。详细的写法还要视个人的网站需求来定。

如没特殊注明,文章均来自网络!转载请注明来自:https://www.yousouke.com/News/jzjy/11644.html

网站设计案例推荐

热门新闻

「石家庄网站建设」企业建网站如何提高网页打开速度

手机网站建设技巧及推广方法

「不等于符号」sql 不等于符号

服务器返回的http状态码

做好站内优化的重要性有哪些?

phpcms显示验证码出错怎么办?

CSS解决文字与图片不能水平居中对齐的问题

网站运营推广中哪些问题常常会遇到?

相关新闻

石家庄网站优化:全网霸屏是什么意思?

石家庄seo:网站内容如何快速收录?

石家庄网站优化:关键词挖掘策略有哪些?

Descriptions标签在网站SEO优化中如何起到作用?

全面的网站优化方案

什么是网站集权?网站集权是什么意思?

推荐新闻

企业网站建设中有哪几个重要点?

石家庄网站关键词优化之网站词库企业关键词的建立

超链接去掉下划线的几个方法

404页面对SEO优化影响有多大?

网站取消备案和注销备案到底有什么区别?

【seo优化公司】快速提升网站权重的几个方法?

网页加载缓慢怎么办?

石家庄SEO:PR值是什么意思?

学校网站建设方案里面主要包含哪些内容呢?