查看: 1036|回复: 0
【小强知乎】如何识别ip是否为百度蜘蛛爬虫ip呢？
最近老是用户询问如何判断拦截的ip是否为百度的爬虫ip，小强特意去查找整理了下识别方法，大家可以参考下：
爬虫的识别可以使用DNS反查方式来确定抓取来源的ip是否属于百度，根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下：
在linux平台下：可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *. 或 *.baidu.jp 的格式命名，非 *. 或 *.baidu.jp 即为冒充。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120..
host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer
BaiduMobaider-119-63-195-254.crawl.baidu.jp.
在windows平台或者IBM OS/2平台下：
可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *. 或 *.baidu.jp 的格式命名，非 *. 或 *.baidu.jp 即为冒充。
1.png (11.32 KB, 下载次数: 30)
11:24 上传
在mac os平台下：可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *. 或 *.baidu.jp 的格式命名，非 *. 或 *.baidu.jp 即为冒充。
小强温馨提醒：安全狗软件使用时遇到问题，都可以联系技术支持QQ进行咨询：
Powered by[转载]baiduspider&什么是百度蜘蛛?百度爬虫是什么？
第一，百度蜘蛛极为活跃,经常看看你的服务器日志，你就怀发现百度蜘蛛抓取的频率和数量都非常大。百度蜘蛛几乎每天都会访问我的论坛，并且至少抓取几十个网页。我的论坛只开通了不到一个月，网页数目还没有完善，但是百度蜘蛛的活动已经相当可观了。大量捕获是百度的强项，其他任何搜索引擎都没办法相比。但是百度中文网页数目并不是最大的，百度蜘蛛抓取的频率和网页更新情况有关。天天更新的网站一定会吸引百度蜘蛛更频繁的访问，我有一个非常明显的例子，www.某某.com
这个域名比较（老），注册已经快一年了，开始做了一个学习站，感觉更新比较麻烦，而且也没有很多时间去维护，但是这个学习站是关于电脑方面的，虽然内容不多，但是页面却不下两W（是别人的整站源码），---第一天，几个好朋友光顾了一下，9IP，没想到
第二天早上打开网站，居然发现从百度来了100多IP！！奇迹，百度蜘蛛就有这么神气，site：www.某某.com,查一下，晕了，一晚上时间，被收录了2000多页？？
应该说这个学习站继续做下去有点前途，但是我时间还真不够用，所以K掉了这个学习站，用这个域名做了一个笑话站，有留言，也有网友上传，轻松多了，不过这下被收录的页面全部是死链，要从头开始了吧，但是我又错了，第三天：这个笑话站又被全面抓取了，！！！，----我发现百度对天天更新的站最敏感！，彻底换内容更敏感----哈哈，看来这个机器人也是喜新厌旧的家伙啊！
最近还是因为时间不够，又用这个域名改了论坛，不知道还有没有奇迹出现--我相信只要内容够多（百度蜘蛛也贪），你站的内容如果不达到么个数目，它可能懒得理你，具体多少，好象是百度内部机密，哈哈
第二，我注意了一下蜘蛛似乎更注重页面内的因素。与Google更加重视内部，有点爬虫类的味道，越黑越深，它越是喜欢往里钻，--不相信你做100个页面，做得再漂亮，只要链接没有层次，哈哈，不好意思，你最多就孤零零的被收录可怜的一点点东西。我前两个站开通不到一个月，也很少有外部链接。但因为本身的结构是比较有层次，一些竞争不太激烈的关键词在百度的排名还不错。
第三：要想排名靠前，目标关键词应该完整匹配地出现在页面中。比如说，你想让你的网站在用户搜索”电脑学习”时出现在前面，那么在你的网页上，”电脑学习”这四个字应该完整连续的出现，而不能”电脑”出现在第一段，”学习”出现在第二段。
第四：百度排名算法是以网页为基础，比较少关注整个网站的主题。联系到上一点，这说明百度排名算法中比较注重内部结构缺少完整的语义分析。所以一些目前比较认同的关于site：之间那几个所谓关系到搜索质量的东西，并不是百度蜘蛛所最敏感的，
第五：百度并不被所谓的优化迷惑！！GG对优化好象远远没有百度敏感，百度尤其反感所谓的优化，不知道是用什么方法识别----我的看法是目前最”先进“
的优化方法，好象对百度没什么大的作用，大家都这么干了，机器人是有点死脑筋，但是百度那些IT也不是吃白饭的哈，要知道他是全球最先进的中文搜索老大，，GG在中文搜索这快--哈哈，不用说了吧：）没得比！
第六：充分利用百度的一个最大的优势--大家可能觉得它的优势对我们来说就是难事了嘛：呵呵，的确是可以利用的，百度收录速度可以用海量来形容，正因为速度快，就给我们留下了可以利用的空间！---回头来还是要说到优化了：）--虽然百度对优化并不感冒，但是只要你优化方式友好，还是能起到不错的效果，--我比较认同适量优化！--至于到底优化到什么程度才是最佳？我也不能说出1，2，3。呵呵--但是别忘了，因为百度收录太快，我们就可以经常使用一些不同的方法测试效果，，而且百度蜘蛛也乐意你天天给它玩新花样，呵呵，看来这个神秘的东西也是有点孩子气的哈，需要人来哄哄，也爱凑凑热闹--好象这样做还有一个好处，如果你的站从来都懒得去玩花样--哈哈，那很可能哪天蜘蛛不再光顾你的网站了，为什么？
K掉了嘛！--百度蜘蛛有一个青蛙一样的眼睛吧，呵呵，动的东西再远也能看见，而且特别注意，静的东西在它身边也未必能看见！
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。点击咨询网站建设客服
商务总机：027-#&
市场部：027-#&
经理室：027-#（勿忘记‘#’)
腾飞立仁成立7年共2504天12小时42分!
如何提高百度爬虫的抓取频率
信息来源： &&发布日期：
来源:ourseo
&&&&&&& 作为重视搜索引擎的站长或者做关键词排名的seoer，那对爬虫的关注是非常高的，每天网站日志，看爬虫爬取了哪些网页，喜欢哪些内容，来的次数多不多等等情况的分析。今天小鹤主要说说如何提高百度爬虫的抓取频率，也是就是怎么让百度爬虫多来爬取你的网站。
&&&&&& 看百度分享帮助的人都知道，装了百度分享就会提高百度爬虫的爬取速度及频率。下面是截图：
&&&&&& 从这个图上面可以看出，提高百度爬虫抓取频率就得从外链和安装百度分享入手，其实小鹤个人感觉高质量原创内容更新频率的提高也有利于爬虫抓取频率的提高。
1、增加高质量的外链数量
&&&&&& 这个小鹤想很多人都知道，高质量的外链越多，网站的百度快照就会更新越快。这里为什么说高质量的外链呢？如果是垃圾外链多的话，用处不大，因为百度爬虫都很少去爬垃圾外链的，自然通过垃圾外链进你网站的机会也很少了。
2、安装百度分享
&&&&&& 从百度分享的帮助里面我们就可以看到，真实用户的分享行为，将网页的url发送给了百度爬虫，这样就会多一次百度爬虫来的机会，如果你每天有很多人分享的话，那发给百度爬虫的机会就多了，自然它来爬取的频率就提高了。
3、高质量原创内容的更新频率
&&&&&& 我们都知道，如果你网站更新有规律的话，百度爬虫来网站的时间也是有规律的，那我们有规律的提高高质量原创内容的更新频率，自然百度爬虫也会有规律的多来爬取了。为什么说是高质量原创呢？高质量是用户喜欢的东西，用户一喜欢，自然随手就会分享你网站的内容，这样就有利于第二种情况。原创是百度爬虫喜欢的东西，小鹤的博客，基本都是原创的东西，就算一个星期只更新一篇内容，基本都是秒收，这就说明原创内容是可以吸引爬虫来爬取的，因为它惦记你这里的好东西。你的发布频率提高，自然他的爬取频率也会提高。
&&&&&& 如果把上面的三点都做到了，并有规律的坚持一段时间，你再去看网站的日志，会发现百度爬虫来的频率提高了很多。其实养爬虫也不是很难，难的就是需要坚持，需要执行力。百度分享刚出来的时候就有很多人讨论会不会影响排名，小鹤想说的是，百度分享影响排名现在没有证明，但是百度分享影响爬虫爬取频率是得到证明了的。所以建议各位站长还是在自己的网站上面安装个百度分享，再说安装这个也不会影响你网站的速度。
相关信息：
[行业资讯]
[行业资讯]
[行业资讯]
[行业资讯]
[行业资讯]
[行业资讯]
[行业资讯]
[行业资讯]
[公司新闻]
[行业资讯]
[行业资讯]
[行业资讯]
[行业资讯]
[行业资讯]
[行业资讯]
[行业资讯]
[行业资讯]
[行业资讯]
微信扫一扫，加关注！
商务总机：027-
市场部：027-#
客服部：027-# 027-#(传真)
经理室：027-#
&地址：武汉市珞瑜路?街道口鹏程国际B座2801&邮编：430074
腾飞立仁，以仁为本，以质取胜！专业为您提供,,等服务。[]
今天是9月23日-本月下旬}