16-下载调优

7.3.3　下载调优

RETRY_* 、 REDIRECT_* 以及 METAREFRESH_* 设置分别用于配置重试、重定向以及元刷新中间件。例如，将 REDIRECT_PRIORITY_ADJUST 设为2，意味着每次发生重定向时，新请求将会在所有非重定向请求完成服务后才会被调度；而将 REDIRECT_MAX_TIMES 设置为20，则表示在执行20次重定向后，下载器将会放弃尝试，并返回目前所见到的内容。这些设置在爬取一些运行不太正常的网站时非常有用，不过在大多数情况下，默认值已经可以提供很好的服务了。它同样也适用于 HTTPERROR_ALLOWED_CODES 以及 URLLENGTH_LIMIT 。