启动爬虫 报400怎么解决啊？

Question

Answer 1

bobby 2017-07-24 09:22:08

http://www.cnblogs.com/gcm688/p/6497536.html 你可以看看这篇文章 看看有没有用

• 提问者 asdhjhg #1

  非常感谢！

Answer 2

提问者 asdhjhg 2017-07-24 12:36:43

搞定了，成功爬取了，谢谢老师啊，爬的条目有点太多，哈哈哈，我要爬下来，分析整个上海租房的情况，把经纬度都搞下来了，准备结合地图和图表做一个分析报告！

• bobby #1

  加油， 注意下合理调整爬取的爬取频率

• 提问者 asdhjhg 回复 bobby #2

  老师，你说的我正好想到，怎么样让下载延迟 就是download-delay和useragent一样随机更换，比如类似能够random.randint(10)这样在爬取过程中随机更换延迟

• bobby 回复 提问者 asdhjhg #3

  https://doc.scrapy.org/en/latest/topics/settings.html#std:setting-DOWNLOAD_DELAY 你看看这个官方文档 实际上是可以设置随机的