本章深入讨论了Scrapy爬虫的内部机制。我们学习了使用 FormRequest 进行登录,使用 Request/Response 的 meta 属性传输变量,使用相对XPath表达式和 Selector ,以及使用 .csv 文件作为源等。
FormRequest
Request/Response
meta
Selector
.csv
接下来,第6章会讲解如何将爬虫部署到Scrapinghub云上,第7章将继续深入Scrapy的设置。