请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

老师定时更新有demo看看

回答2 浏览98 2020-10-09 18:18:58

老师定时更新有demo看看么,思路有点不清晰。定时新的数据

添加回答

2回答

  • 一个小时爬取一次的新的数据,如果有新数据抓取新的数据,插入数据库,没有新的数据就不添加数据库。这个定时更新需要怎么去操作么,

    2020-10-10 13:32:38
    • bobby #1
      每隔一段时间重新开启一个爬虫 就可以抓取到最新是数据了
      2020-10-13 11:08:31
    • 提问者 慕无忌8052570 回复 bobby #2
      已有数据就不去抓取了,把新的数据抓取就可以了,这样可以减少请求,IP消耗少,现在没有这个思路。如果重启一次爬虫相当爬虫又要走一遍,大大的增加IP的消耗,成本太高了,
      2020-10-13 14:36:53
    • bobby 回复 提问者 慕无忌8052570 #3
      新启动爬虫以后 该爬虫就会从列表页或者首页获取到最新的数据,或者你写一个爬虫从redis中获取数据,然后写一个脚本定时向redis中添加最新的url就行了
      2020-10-16 12:54:00

Python爬虫工程师从入门到进阶 大数据时代必备

难度中级
时长23小时35分钟
人数1454
好评度99.8%

慕课网严选精品教程 高质量内容+超值服务! 系统入门python爬虫工程师

讲师

bobby 全栈工程师

8年工作经验,后端资深开发。精通python,go,擅长分布式、微服务开发和爬虫应用开发。涉猎广泛,密切关注后端技术的发展。

意见反馈 帮助中心 APP下载
官方微信