会生成类似如下的文件结构

从天善论坛读取 帖子的基本信息

我们拿Scrapy官网的一个示例来说一下callbak函数和yield的特性

callback:定义一个解析函数上面的示例就定义了遇见/catalog下的href连接，调用parse_title函数解析可以使用多个callback函数，Scrapy框架会将yield对应的调用放到队列里面普通的Python脚本会顺序执荇， Scrapy框架使用了yield实现了异步调用还有一个yield的应用，就是这句

使用Scrapy解析的数据導出可以使用以下2种方式

这是一个写入mangodb的例子

接下来 我会介绍一下 crawl的例子这部分我觉得是Scrapy最好用的东西， 通过规则对应就能很轻松地把數据拿过来

按原来的做法，就需要模拟一页一页翻页 但是CrawlSpider已经遍历的页面，只需要定义规则就可以了

通过这段代码 就可以把所有问題列表拿出来了

上面的示例就说完了。关于Scrapy的更多内容可以看官网 ，建议看pdf格式的 我觉得和网页格式的优点区别，例子更多一点

最後我把《Python网络数据采集》读后总结 --第12章避免爬虫应用的抓取陷阱里面的内容 摘录了一部分。
避免爬虫应用的抓取陷阱检查清单：
2.检查提交嘚表单是否包含所有应该提交的字段包括隐含字段
首先换一个IP,谈后为了避免再次block,确认
其中部分Scrapy已经帮我们处理了一部分， 如headers访问的频率等，不过还有很多网站对爬虫应用做了屏蔽需要更多探索了。

今天我的分享结束了 感谢大家关注。