scrapy shell 请求被阻止

Question

老师，scrapy shell 请求url被阻止应该怎样解决？

Answer 1

bobby 2019-12-06 16:54:00

拉钩检查了user-agent 可以这样 scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/60.0" https://www.lagou.com/jobs/6603524.html

• 提问者 燚燚生辉 #1

  我当时也设置了USER_AGENT,J就是不行。现在行了，谢谢老师。

• bobby 回复 提问者 燚燚生辉 #2

  好的，

Answer 2

bobby 2019-12-04 10:11:17

url发一下 我这边试试看 我需要知道是因为没有添加ua导致的还是因为ip地址被禁止了

• 提问者 燚燚生辉 #1

  https://www.lagou.com/jobs/6603524.html