filtered offsite request的疑惑?

Question

老师, 我将某个抓去明细数据request的dont_filter设置为False后, scrapy的日志中发现如下这样一条记录, 并且scrapy不再抓取明细数据了:

看提示, 这个request不是由于request的指纹识别过滤的, 更像是被allowed_domains过滤的, 但是这两个url的domain明明是一样的, 为什么会过滤掉呢?

Answer 1

bobby 2019-10-08 08:34:19

你的domain怎么设置的？