当前位置:嗨网首页>书籍在线阅读

17-本章小结

  
选择背景色: 黄橙 洋红 淡粉 水蓝 草绿 白色 选择字体: 宋体 黑体 微软雅黑 楷体 选择字体大小: 恢复默认

10.7 本章小结

在本章中,我们尝试通过给出几个有趣的案例,来突出Scrapy架构的优秀性能。具体细节可能会在未来版本的Scrapy中有所变更,不过本章提供的知识应当会在很长一段时间内保持有效,并且可能会帮助你处理基于Twisted、Netty Node.js或类似框架的任何高并发异步系统。

当谈到Scrapy的性能问题时,有3个有效的答案:我不知道也不介意;我不知道但我会找出来;我知道。正如我们在本章中多次论证的,天真地回答“我们需要更多的服务器/内存/带宽”更有可能与Scrapy的性能无关。人们需要真正理解瓶颈在什么地方,并且去提升它。

在最后一章中,我们将进一步专注提升性能,通过在多台服务器上分布式部署爬虫,达到超越单机的能力。