定时抓取的问题

Question

我现在想做一个每天定时检查网站是否更新的需求,我如何在定时的启动的代码里判断我的爬虫是否在运行的,如果不在运行我才会去启动.

Answer 1

bobby 2017-08-25 09:29:05

你看过后面的scrapy-redis章节中可以解决你这个需求 因为爬虫会可以一直运行着 你只需要写一个进程每天去检查更新 检查到以后 直接将url写入到redis中就行了

• 提问者 Rtsunoath #1

  比如我现在想抓赶集网下某个类目下的全国数据,我是从全国城市下一级一级抓的,这样去检测是否更新会很麻烦,有没有什么方法让我的爬虫再重新抓一次,但是碰到已经抓过的url就停止.

• bobby 回复 提问者 Rtsunoath #2

  这个我的回答里面就是这个意思啊， 你要看后面的scrapy-redis的章节 到时候直接启动一个进程 直接把每个城市的url定期放入到redis队列中 然后把这个url的优先级设置高一点就行了