01-Scrapy
[toc]
第8章 Scrapy
Scrapy 是一个流行的网络爬虫框架,它使用了一些高级功能以简化网站抓取。本章中,我们将学习使用Scrapy抓取示例网站,目标任务与第2章相同。然后,我们还会介绍 Portia ,这是一个基于Scrapy的应用,允许用户通过点击界面抓取网站。
在本章中,我们将会介绍如下主题:
- Scrapy入门;
- 创建爬虫;
- 对比不同的爬虫类型;
- 使用Scrapy进行爬取;
- 使用Portia编写可视化爬虫;
- 使用Scrapely实现自动化抓取。
[toc]
Scrapy 是一个流行的网络爬虫框架,它使用了一些高级功能以简化网站抓取。本章中,我们将学习使用Scrapy抓取示例网站,目标任务与第2章相同。然后,我们还会介绍 Portia ,这是一个基于Scrapy的应用,允许用户通过点击界面抓取网站。
在本章中,我们将会介绍如下主题: