[toc]
为了避免基于磁盘的缓存已知的局限，我们将在已有的键值对存储系统上构建缓存。在爬取时，我们可能需要缓存大量数据，但又不需要任何复杂的连接，因此我们将使用高效的键值对存储，它要比传统关系型数据库甚至大多数NoSQL数据库更加易于扩展。具体来说，我们将使用非常流行的键值对存储Redis作为我们的缓存。