Scrapy是不是会预读一次目标网站

Question

目前看日志，没有进入实际爬取逻辑 parse（）内，就提示403，是不是框架会先请求一下要爬取的网站，然后就被墙了？

有的网站相同代理请求第二次就进反爬了，如果是这样的话，怎么屏蔽预请求？？

Answer 1

提问者 弗兰克的IT生活 2021-03-10 14:10:22

[scrapy.core.engine] DEBUG: Crawled (200)

就是这行话，不知道怎么屏蔽掉

• bobby #1

  你爬取的是什么网站？

• 提问者 弗兰克的IT生活 回复 bobby #2

  国外电商

• 提问者 弗兰克的IT生活 回复 bobby #3

  scrapy.core.engine] DEBUG: Crawled (403)，这个是哪里出的？？

点开查看后面5条评论

Answer 2

提问者 弗兰克的IT生活 2021-03-10 14:03:08

就是控制台显示，第一次200，第二次就403了～～～