当前位置:嗨网首页>书籍在线阅读

14-本章小结

  
选择背景色: 黄橙 洋红 淡粉 水蓝 草绿 白色 选择字体: 宋体 黑体 微软雅黑 楷体 选择字体大小: 恢复默认

[toc]

2.8 本章小结

在本章中,我们介绍了几种抓取网页数据的方法。正则表达式在一次性数据抓取中非常有用,此外还可以避免解析整个网页带来的开销; BeautifulSoup 提供了更高层次的接口,同时还能避免过多麻烦的依赖。不过,通常情况下, lxml 是我们的最佳选择,因为它速度更快,功能更加丰富,因此在接下来的例子中我们将会使用 lxml 模块进行数据抓取。

我们还学习了如何使用浏览器工具和控制台查看HTML页面,以及定义CSS选择器和XPath选择器来匹配和抽取已下载页面中的内容。

在下一章中,我们将会介绍缓存技术,这样就能把网页保存下来,只在爬虫第一次运行时才会下载网页。