[toc]
本章中，我们介绍了串行下载存在性能瓶颈的原因，给出了通过多线程和多进程高效下载大量网页的方法，并对比了什么时候优化或增加线程和进程可能是有用的，什么时候又是有害的。我们还实现了一个新的Redis队列，并且使用它实现跨机器或进程的处理。
下一章中，我们将介绍如何抓取使用JavaScript动态加载内容的网页。