03-启动项目

[toc]

8.2　启动项目

安装好Scrapy以后，我们可以运行 startproject 命令生成第一个Scrapy项目的默认结构。

具体的操作步骤为：打开终端进入想要存储Scrapy项目的目录，然后运行 scrapy startproject < project name> 。这里我们使用 example 作为项目名。

$ scrapy startproject example
$ cd example

下面是 scrapy 命令生成的文件结构。

scrapy.cfg
example/
    __init__.py
    items.py
    middlewares.py
    pipelines.py
    settings.py
    spiders/
        __init__.py

其中，在本章（以及一般的Scrapy使用）中比较重要的几个文件如下所示。

• items.py ：该文件定义了待抓取域的模型。
• settings.py ：该文件定义了一些设置，如用户代理、爬取延时等。
• spiders/ ：该目录存储实际的爬虫代码。

另外，Scrapy使用 scrapy.cfg 设置项目配置， pipelines.py 处理要抓取的域， middlewares.py 控制请求和响应中间件，不过在本例中无须修改这几个文件。