关于request.seen文件清空的问题？

Question

老师, scrapy-redis的课程中有提到一个schedule_flush_on_start变量可以控制这个指纹是否清空, 但是目前我不需要用分布式和redis,但是我又希望scrapy每次爬完数据后能保留request.seen文件， 请问 scrapy本身有能控制爬虫程序结束后， request.seen文件清空的方法吗?

Answer 1

bobby 2019-10-09 11:25:14

你这个需求我不太明白，你提到希望爬完后保留seen文件，又需要清空文件的方法是什么意思？

• 提问者 慕粉1946152704 #1

  就是爬完后保留seen文件的方法

• bobby 回复 提问者 慕粉1946152704 #2

  scrapy-redis会将所有已经访问过的url都保存在redis中，这个不满足你的需求吗？

• 提问者 慕粉1946152704 回复 bobby #3

  可以满足, 但是我更希望直接用scrapy实现这个功能.

点开查看后面1条评论