拉钩数据的抓取 crawl

Question

现在返回这样的页面

Answer 1

bobby 2020-01-19 10:19:21

拉勾网 对ip访问频率做了反爬，你要设置一下访问频率。访问频率我在后面会讲解，

AUTOTHROTTLE_ENABLED = True
# The initial download delay
AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
AUTOTHROTTLE_MAX_DELAY = 15
RANDOMIZE_DOWNLOAD_DELAY = True
DOWNLOAD_DELAY = 10

也可以试试将上面的代码放到settings.py中