当前位置:嗨网首页>书籍在线阅读

23-本章小结

  
选择背景色: 黄橙 洋红 淡粉 水蓝 草绿 白色 选择字体: 宋体 黑体 微软雅黑 楷体 选择字体大小: 恢复默认

3.5 本章小结

本章可能是大家开始学习Scrapy时最重要的一章。你刚刚学习了开发爬虫最基本的方法:UR2IM。你学会了如何自定义适合需求的 Item ,使用 ItemLoader 、XPath表达式和处理器加载 Item ,以及如何对 Request 使用 yield 操作。我们使用 Request 横向到达不同的索引页,纵向到达房源页并抽取 Item 。最后,我们看到了如何使用 CrawlSpiderRule ,以很少的代码行创建非常强大的爬虫。如果你想要更深入地理解这些概念,请尽可能多地阅读本章,当然,也可以在你开发自己的爬虫时使用本章作为参考。

我们刚刚从网站中得到了一些信息。为什么它这么重要呢?我想答案会在下一章中变得明朗起来,在下一章中,通过简单的几页内容,我们将会开发一个简单的手机应用,并使用Scrapy填充其中的数据。我想,结果会令大家印象深刻。