java 实现网络爬虫用哪个爬虫框架比较好？-CSDN论坛
java 实现网络爬虫用哪个爬虫框架比较好？
大家哈，我想用java&实现一个网络爬虫的程序，请问用什么爬虫框架比较好，比如说我要抓取一些游戏传媒信息。用什么技术框架好！？？请大家帮忙支支招，谢谢！
爬虫有框架吗？好像只有一些开源的实现吧，Heritrix比较适合，而且用的比较多，可以自由定制，网上相关的中文资料也比较多
楼主，我也碰到你这样的问题，不知道你学的怎么样了？求指点
自己写爬取程序吧&看你业务需求了&你针对的是什么了&最好说的详细点
一般来说&可以通过该网站的API搜索信息，这是最快最准的。如果不行就拼凑连接自己解析。最后还是不行就只有最笨最慢最不稳定的方法爬网页解析。N多方法最好使用API最不好就爬网页。
如果你是做项目，建议你用框架
如果你是真的想提高自己能力，作为爱好研究一下，建议你研究框架源码，
共有31款Java&网络爬虫开源软件，网址：http://www.oschina.net/project/tag/64/spider?lang=19&os=0&sort=view&p=1，其中Nutch和Heritrix比较流行&
httpclient不错
推荐一个Jsoup&看一下，感觉这个不错
回复java-用python写爬虫和用Java写爬虫的区别是什么？
用python写爬虫和用Java写爬虫的区别是什么？
为什么大多数都用python写爬虫
python有爬虫库吗？
python开发起来方便，快速，爬虫库也比较好用，scrapy
解决方案二：
python和爬虫简直是相得益彰，request库加bs4库，轻轻松松写爬虫
解决方案三：
解决方案四：
推荐一些爬虫的实现源码：
解决方案五：
request库加bs4库 是轮子
scrapy是开源框架
都非常好用
解决方案六：
有很多开源的库
所以比较好用【java（爬虫方向）就业前景怎么样|做java（爬虫方向）有前途吗】-看准网
java（爬虫方向）就业前景分析
这个数据对你 有帮助吗？
全国java（爬虫方向）
北京java（爬虫方向）样本数据不足，无法对比
图表中根据地区企业近一年发布的职位招聘信息统计所得，纵轴为职位需求量（单位：个），横轴为招聘时间，曲线峰值越高代表需求量越大。反之，需求量较少。
以上结果由看准网整理，仅供参考。
招怎样的人
该职位招聘不限学历占50.00%
该职位招聘大专学历占25.00%
该职位招聘本科学历占25.00%
该职位招聘不限工作经验占50.00%
该职位招聘1-3年工作经验占50.00%
该职位招聘在8-12k薪资范围占33.33%
该职位招聘在12-16k薪资范围占66.67%
随工作经验工资变化趋势
数据说明：
图表中根据看准网企业员工发布的职位薪酬数据统计所得，工资数据受地域、工作年限，用户分享数量等多种因素影响，仅供参考。
本数据取自&3&份样本，最新更新时间：
该职位平均税前月薪
该职位1-3年工作经验的平均税前月薪：￥16000
招聘需求量地区排名&&TOP10
招聘薪酬地区排名&&TOP10
抱歉，该职位数据不足，无法提供排行
java（爬虫方向）热门公司面试
2条信息1&&0.0
2条信息2&&0.0
2条信息3&&3.5
1条信息4&&0.0
1条信息5&&2.3
爆料数十万公司信息爆料
互助职场人在线互动
工资公司实际工资查看
改简历专人改简历提高工资
老鸟私聊求助能挣钱
输入手机号，下载看准APP
扫码下载看准APP或各大应用商店搜索：看准Java爬虫抓取知乎20万用户信息并做简易分析前段时间看
分享了一篇爬取知乎用户的文章，心血来潮，想着也该把自己很早写的知乎爬虫完善一下趁着每天实习回来还有点时间，整理了下思路和原来的代码因为自己不太爱用框架，所以爬虫中除了用Jsoup解析了下，其他均用纯Java原生实现然后用我厂良心前端产品Echart进行了简易的展示不过话说回来，知乎现在真是越来越难爬了，像啥429连接数过多，封本机IP，JS加载页面，这些坑原来都是没有的啊......好在最后都克服了，开心！这也预示着知乎越来越正规，越来越安全，这不，前两天刚融了1亿刀，可喜可贺.国际惯例，附上源码：早期爬虫回答地址：Echarts展示页面：没事点个赞也是挺好的~.记下爬虫学习历程，为这第一篇专栏文章开个好头1.爬虫思路如上图所示，爬虫项目维持了一个线程池，从阻塞队列中不停的取用户url，通过阻塞IO获取字节流，再通过Jsoup解析DOM结构，然后分析DOM结构，获取用户信息，存入数据库中2.重点分析线程池数量过多会出现Connection reset与Connection shutdown异常，爬虫设定核心池数为10每次解析url地址时，自动设置动态IP代理，否则会报429连接数量过多异常开了一个监听线程，当爬虫线程池中线程出现异常中断时，新开线程加入线程池中，保证线程池数量稳定在10个去重策略运用Bloom Filter算法，提供稳定的去重服务，内存消耗较少根据关注的人进行url抽取，爬取高质量用户数据仅爬取了关注的人第一页的用户放入阻塞队列，因有的用户关注数过多，递归放入怕出现内存、队列异常爬取过程持续两天一夜，分了4，5次爬取，没有进行中断异常处理，可能会略有有重复数据，速度也有待提升Jsoup解析网页比较简单，在这里就不再赘述3.数据展示我把自己的首页作为初始页，爬取的20万信息如下爬取过程日志如下4.简易分析本分析只针对爬取的20万数据，不具有代表性欢迎通过以下地址查看Echarts展示结果，自带一些简易的交互功能Echarts展示地址：展示结果如下：知乎用户性别情况知乎用户行业分布（未填写行业者除外）知乎用户公司分布排名知乎用户受教育程度排名不查不知道一查吓一跳，不是清北根本不敢往上写.......知乎用户回答数排行可以看到
贡献了最多的答案，也多亏了轮子哥夜以继日的回答，才能使我辈领略到知乎的乐趣知乎用户被赞数排行@张佳玮 张公子当之无愧的第一.... 、大师兄 紧随其后
知乎用户被感谢数排行知乎用户关注数排行拔叔
领跑关注榜知乎用户粉丝数排行张公子继续第一....5.总结没有做中断异常处理，再次开启爬虫得重新去重，可以进一步改进围绕并发连接数、开启线程数、解析网页速度几方面可以进一步提升爬虫速度写下这篇文章记录近期学习的知识点，为秋招做准备源码地址：，求个star35846 条评论分享收藏文章被以下专栏收录记录个人coding学习之路}