老师定时更新有demo看看

Question

老师定时更新有demo看看么，思路有点不清晰。定时新的数据

Answer 1

提问者 慕无忌8052570 2020-10-10 13:32:38

一个小时爬取一次的新的数据，如果有新数据抓取新的数据，插入数据库，没有新的数据就不添加数据库。这个定时更新需要怎么去操作么，

• bobby #1

  每隔一段时间重新开启一个爬虫 就可以抓取到最新是数据了

• 提问者 慕无忌8052570 回复 bobby #2

  已有数据就不去抓取了，把新的数据抓取就可以了，这样可以减少请求，IP消耗少，现在没有这个思路。如果重启一次爬虫相当爬虫又要走一遍，大大的增加IP的消耗，成本太高了，

• bobby 回复 提问者 慕无忌8052570 #3

  新启动爬虫以后 该爬虫就会从列表页或者首页获取到最新的数据，或者你写一个爬虫从redis中获取数据，然后写一个脚本定时向redis中添加最新的url就行了

Answer 2

bobby 2020-10-10 10:00:05

定时更新有demo是指什么呢？