31-第5步_类似程序的想法

第5步：类似程序的想法

下载页面并追踪链接是许多网络爬虫程序的基础。类似的程序也可以做下面的事情。

• 顺着网站的所有链接备份整个网站。
• 复制一个论坛的所有信息。
• 复制一个在线商店中所有产品的目录。

requests 和 bs4 模块功能很强大，只要你能弄清楚需要传递给 requests. get() 的URL。但是，有时候这并不容易找到。或者，你希望编程浏览的网站可能要求你先登录。 selenium 模块将让你的程序具有执行这种复杂任务的能力。