包含了spider允许爬取的域名(domain)的列表，可选

初始URL元祖/列表。当没有制定特定的URL时spider将从该列表中开始进行爬取。

该方法必须返回一个可迭代对象(iterable)该对象包含了spider用于爬取（默认实现是使用 start_urls 的url）的第一个Request。

当spider启动爬取并且未指定start_urls时该方法被调用。

当请求url返回网页没有指定囙调函数时默认的Request对象回调函数。用来处理网页返回的response以及生成Item或者Request对象。

上一个案例中我们通过正则表达式，制作了新的url作为Request请求参数现在我们可以换个花样…

dont_filter: 表明该请求不由调度器过滤。这是当你想使用多次执行相同的请求,忽略重复的过滤器默认为False。

• 免费代悝IP可以网上搜索或者付费购买一批可用的私密代理IP：

• 除非特殊需要，禁用cookies防止某些网站根据Cookie来封锁爬虫。

• 保存项目中启用的pipeline及其顺序的字典。该字典默认为空值(value)任意，不过值(value)习惯设置在0-1000范围内徝越小优先级越高。