浅谈网站优化robots.txt文件的写法 - A5站长网
当前位置：
浅谈网站优化robots.txt文件的写法
20:51&&来源：&
　　robots.txt文件，相比朋友们都或多或少的听说过，也可能自己已经写过了。其实到目前为止我本人还没写过robots.txt文件，不是不会写，只是感觉博客中没什么内容需要阻止蜘蛛抓取的。而且想必大家也知道一个个人独立博客中出现死链接的概率应该是非常小的，不需要过多的进行死链接处理所以我感觉没什么必要。但是robots.txt文件写法作为个人站长的必须掌握的技能之一，其用处还是很广泛的。这里就详细介绍下，也算是自己温习温习。
　　什么是robots.txt文件
　　我们从这个文件名来看，它是.txt后缀名的，大家也应该知道这是一个文本文件，也就是记事本。robots，懂点英语的人应该都人士，是机器人的意思，对我们而言这个机器人代表的就是搜索引擎机器人，从名字上就可以猜到这个文件是我们专门写给蜘蛛看的。它的作用就是告诉蜘蛛，那些栏目或者是那些页面不需要抓取，当然也可以直接屏蔽掉某个蜘蛛的访问。注意，这个文件是放在网站根目录下的，这样才能保证蜘蛛可以在第一时间读取文件内容。
　　robots文件的作用
　　其实robots文件最常被我们用到的就是屏蔽网站内的死链接。大家应该知道一个网站死链接多了会影响网站的权重。但是网站死链接清理虽然说不上是麻烦，还是需要花上不少时间的，特别是如果站内死链接较多的情况下，清理起来很费劲，这时候robots文件的用处就体现出来了，我们可以直接将这些死链接按照格式写入文件中阻止蜘蛛抓取，想清理的或以后在慢慢清理。有些网站内容中包含一些站长不想让蜘蛛抓取的url或文件，也可以直接屏蔽。对于屏蔽蜘蛛，用到的一般都比较少。
　　robots文件的写法
　　这一点应该是比较重要的了。如果写错了想屏蔽的没成功，想被抓取的却写进去自己不能及时发现可就亏大了。首先我们要知道两个标签，Allow和Disallow，一个是允许，一个是不允许，它的作用相比大家也都能理解。
　　User-agent: *
　　Disallow:
　　User-agent: *
　　Allow:
　　这两段内容表示的都是允许抓取所有，实际上屏蔽url和文件用到的是Disallow标签，除非你的网站只有几条想要被抓取采用Allow标签。这个User-agent：后面跟的就是蜘蛛名称，大家对主流的搜索引擎蜘蛛名称应该比较熟悉。下面以搜搜蜘蛛为例：Sosospider。
　　当我们想屏蔽搜搜蜘蛛的时候：
　　User-agent: sosospider
　　Disallow: /
　　大家可以发现这个屏蔽蜘蛛跟上面允许相比只是多了一个&/&，其含义就起了翻天覆地的变化，所以在书写的时候要千万注意，可不能因为多写个斜杠屏蔽了蜘蛛自己却不知道。还有就是在user-agent：后边不屑固定蜘蛛名称跟的如果是&*&表示是针对所有蜘蛛的。
　　禁止某个目录被搜索引擎蜘蛛抓取，设置代码如下：
　　User-agent: *
　　Disallow: /目录/
　　注意，这里如果是阻止抓取某目录的话目录名字一定要注意&/&，不带&/&表示的是阻止访问这个目录页面和目录下的页面，而带上&/&则表示进阻止目录下的内容页面，这两点要分清楚。如果是想屏蔽多个目录就需要采用
　　User-agent: *
　　Disallow: /目录1/
　　Disallow: /目录2/
　　这样的形式，不能采用 /目录1/目录2/ 这样的形式。
　　如果是阻止蜘蛛访问某一类型的文件，例如阻止抓取.jpg格式的图片可以设置成：
　　User-agent: *
　　Disallow: .jpg$
　　以上是上海seo小马针对整个网站的robots文件的写法，只是讲的robots写法的类型和注意事项，像针对性屏蔽蜘蛛或者是其他的具体写法描述的少了点，但是知道allow和disallow的含义进行思考可以衍生出不少其他的写法含义。还有针对具体网页的robots meta网页标签写法，不过一般情况下用的不是很多。
　　以上由上海seo小马/整理，转载请注明，谢谢
责任编辑：扬扬
作者：小马老马
延伸阅读：关键词：
站长杂谈 草根站长信息中心
兄弟网站：||||||
徐州八方网络科技有限公司 增值电信业务经营许可证： | 编辑热线：5 |
A5站长网 版权所有.什么是robots文件？
比如，在牛商网的首页网址后面加入“/robots.txt”，即可打开该网站的robots文件，如图所示，文件里显示的内容是要告诉搜索引擎哪些网页希望被抓取，哪些不希望被抓取。因为网站中有一些无关紧要的网页，如“管理后台”等网页，他们并不参与SEO排名，只是为了给用户看，此时可以利用robots文件把他们屏蔽，即告诉搜索引擎不要抓取该页面。
蜘蛛抓取网页的精力是有限的，即它每次来抓取网站，不会把网站所有文章、所有页面一次性全部抓取，尤其是当网站的内容越来越多时，它每次只能抓取一部分。那么怎样让他在有限的时间和精力下每次抓取更多希望被抓去的内容，从而提高效率呢?　　这个时候我们就应该利用robots文件。官网的robots文件很重要，因为官网的数据库非常庞大，蜘蛛来时，要像对待好朋友一样给它看最重要的东西，因为这个朋友精力有限，每次来都不能把所有的东西看一遍，所以就需要robots文件屏蔽一些无关紧要的东西。由于种种原因，某些文件不想被搜索引擎抓取，如处于隐私保护的内容，也可以用robots文件把搜索引擎屏蔽。　　当然，有些人会问，如果robots文件没用好或出错了，会影响整个网站的收录，那为什么还有这个文件呢?这句话中的“出错了”是指将不该屏蔽的网址屏蔽了，导致蜘蛛不能抓取这些页面，这样搜索引擎就不会收录他们，那何谈排名呢?所以robots问价的格式一定要正确。下面我们一起来了解robots文件的用法：　　1.“user-agent：*disallow：/”表示“禁止所有搜索引擎访问网站的任何部分”，这相当于该网站在搜索引擎里没有记录，也就谈不上排名。　　2.“user-agent：*disallow：”表示“允许所有的robots访问”，即允许蜘蛛任意抓取并收录该网站。这里需要注意，前两条语法之间只相差一个“/”。　　3.“user-agent：badbot disallow：/”表示“禁止某个搜索引擎的访问”。　　4.“user-agent：baiduspider disallow：user-agent：*disallow：/”表示“允许某个搜索引擎的访问”。这里面的“baiduspider”是百度蜘蛛的名称，这条语法即是允许百度抓取该网站，而不允许其他搜索引擎抓取。　　说了这么多，我们来举个例子，某个网站以前是做人才招聘的，现在要做汽车行业的，所以网站的内容要全部更换。删除有关职场资讯的文章，这样就会出现大量404页面、很多死链接，而这些链接以前已经被百度收录，但网站更换后蜘蛛再过来发现这些页面都不存在了，这就会留下很不好的印象。此时可以利用robots文件把死链接全部屏蔽，不让百度访问这些已不存在的页面即可。　　最后我们来看看使用robots文件应该注意什么?首先，在不确定文件格式怎么写之前，可以先新建一个文本文档，注意robots文件名必须是robots.txt，其后缀是txt并且是小写的，不可以随便更改，否则搜索引擎识别不了。然后打开该文件，可以直接复制粘贴别人的格式，　　Robots文件格式是一条命令一行，下一条命令必须换行。还有，“disallow： ”后面必须有一个空格，这是规范写法。
今天你学会看网站RobotS文件了吗？
单仁资讯帮您打造网络营销赚钱机器！如有爱学习的好朋友有兴趣了解网络营销，可以联系袁晶，微信号：，网上赚钱你准备好了吗？　
　文章为作者独立观点，不代表微头条立场
的最新文章
上次有个盆友来问站内怎么优化，确实讲了太多ＳＥＭ和站外优化，站内讲的很少，今天我们来聊下站内如何优化很多朋友每天辛苦的写文章，到头来文章不收录，各种无语。为什么原创文章不收录？怎么快速收录，今天一起学习。此篇文章是我的同事曾小梅童靴的原创，很多朋友应该有认识她，今天特意把文章分享出来让大家一起学习网络营销漏斗很多朋友都看了不止一遍，但我们真的能从漏斗里看到很多客户的真实需求吗？今天就跟大家一起学习怎么看客户的实际需求移动端营销如火如荼，但是好的移动端是什么样的，什么样的移动端客户喜欢？怎么推广我们的移动端你造吗？网站上线后做什么？不清楚？很多工作，无从下手？今天就帮大家理下思路，让大家忙中偷闲，工作做到重点SEO工作是繁琐和长期的，有时候要做的事情是坚持做，很多朋友是知道SEO的重要性却不知道怎么做，今天简单举几个例子告诉大家百度知道这些怎么做些简单的操作什么是robots文件？在你的网站提交之后，你一定会在后台修改你的网站，如果你频繁修改，到时你的站一会被K掉的，那么有这么一个文件上传到你的网站里面，只要是在文件里面的东东，都不会被蜘蛛抓走的，这样就在一定程度上保护了你的网站。网络线索拿到，销售成交不了！WHY？只是销售的问题吗？网络营销是个系统，线索成交不了，不单单是销售的问题，今天就告诉大家团队怎么一起来成交网销线索，真正提高网销线索的转化率。做百度推广，当然是为了使网站获取更多的有效点击量，官网特别是新站，带来流量的直接方式肯定是做百度竞价，但是做百度竞价只是出钱就能带来流量了吗？不一定，想把钱花的值还是要了解百度推广账户的结构。wangluo-jyz愿意跟所有在网络营销路上奔跑的朋友呐喊助威，添砖加瓦,一路奔跑在网络营销的路上！热门文章最新文章wangluo-jyz愿意跟所有在网络营销路上奔跑的朋友呐喊助威，添砖加瓦,一路奔跑在网络营销的路上！广东实效网络营销领航者
6年行业经验，承诺无效退款
免费服务热线
广州超悦信息科技有限公司
全国热线：400-
固定电话：020-
咨询邮箱：
公司官网：
联系地址：广州番禺区市桥大北路永恒大街6号花城创意产业园B座3楼
行业新闻所在位置：&>&&>&
robots.txt文件怎么写呢
资讯来源：& 所属分类：行业新闻& 发布时间： 14:42:52& 点击次数：（）
摘要：robots.txt文件怎么写呢？robots.txt文件有什么用？robots.txt文件主要是告诉搜索引擎哪些网页希望被抓取，哪些不希望被抓取。因为网站中有一些无用的页面不想被收录或者不 ...
robots.txt文件怎么写呢？robots.txt文件有什么用？robots.txt文件主要是告诉搜索引擎哪些网页希望被抓取，哪些不希望被抓取。因为网站中有一些无用的页面不想被收录或者不想分权重，例如“登录注册”“给我留言”或“联系方式”等网页，他们并不参与排名，只是为了给用户看，此时可以利用robots文件把他们屏蔽，即告诉搜索引擎不要抓取该页面。蜘蛛抓取网页的精力是有限的，即它每次来抓取网站，不会把网站所有文章、所有页面一次性全部抓取，尤其是当网站的内容越来越多时，它每次只能抓取一部分。那么怎样让他在有限的时间和精力下每次抓取更多希望被抓去的内容，从而提高效率呢?这个时候我们就应该利用robots文件。小型网站没有该文件无所谓，但对于中大型网站来说，robots文件尤为重要，因为这些网站数据库非常庞大，蜘蛛来时，要像对待好朋友一样给它看最重要的东西，因为这个朋友精力有限，每次来都不能把所有的东西看一遍，所以就需要robots文件屏蔽一些无关紧要的东西。由于种种原因，某些文件不想被搜索引擎抓取，如处于隐私保护的内容，也可以用robots文件把搜索引擎屏蔽。当然，有些人会问，如果robots文件没用好或出错了，会影响整个网站的收录，那为什么还有这个文件呢?这句话中的“出错了”是指将不该屏蔽的网址屏蔽了，导致蜘蛛不能抓取这些页面，这样搜索引擎就不会收录他们，那何谈排名呢?所以robots问价的格式一定要正确。下面我们一起来了解robots文件的用法：1.“user-agent：*disallow：/”表示“禁止所有搜索引擎访问网站的任何部分”，这相当于该网站在搜索引擎里没有记录，也就谈不上排名。2.“user-agent：*disallow：”表示“允许所有的robots访问”，即允许蜘蛛任意抓取并收录该网站。这里需要注意，前两条语法之间只相差一个“/”。3.“user-agent：badbot disallow：/”表示“禁止某个搜索引擎的访问”。4.“user-agent：baiduspider disallow：user-agent：*disallow：/”表示“允许某个搜索引擎的访问”。这里面的“baiduspider”是百度蜘蛛的名称，这条语法即是允许百度抓取该网站，而不允许其他搜索引擎抓取。说了这么多，我们来举个例子，某个网站以前是做人才招聘的，现在要做汽车行业的，所以网站的内容要全部更换。删除有关职场资讯的文章，这样就会出现大量404页面、很多死链接，而这些链接以前已经被百度收录，但网站更换后蜘蛛再过来发现这些页面都不存在了，这就会留下很不好的印象。此时可以利用robots文件把死链接全部屏蔽，不让百度访问这些已不存在的页面即可。最后我们来看看使用robots文件应该注意什么?首先，在不确定文件格式怎么写之前，可以先新建一个文本文档，注意robots文件名必须是robots.txt，其后缀是txt并且是小写的，不可以随便更改，否则搜索引擎识别不了。然后打开该文件，可以直接复制粘贴别人的格式，Robots文件格式是一条命令一行，下一条命令必须换行。还有，“disallow： ”后面必须有一个空格，这是规范写法。以上便是超悦营销对robot.txt文件有什么用、robots.txt文件怎么写&的一些见解，更多内容请访问超悦营销官方网站：&&
相关新闻：
效果之选，成长之道。整合营销，一站式服务！
官方微博：/chaoyueyingxiao
咨询邮箱：
咨询热线：400-
微信：chaoyueyingxiao
超悦营销官方微信}