请稍等 ...

我内容URL地址在数据库中，我要怎么操作，把数据库的地址循环采集内容

我内容URL地址在数据库中，我要怎么操作，把数据库的地址循环采集内容

我们不熟 2020-04-05 17:33:59

源自：8-8 scrapy实现ip代理池 - 3

679

收起

提交取消

2回答

bobby 回答被采纳获得+3积分 2020-04-06 14:07:15

我内容URL地址在数据库中？这句话是什么意思能举例说明一下吗你的问题我不是很明白

0 回复有任何疑惑可以回复我~

提问者我们不熟 #1
```
这里不能发图片，我重新添加了一个回答。
```
回复有任何疑惑可以回复我~ 2020-04-06 22:21:05
提问者我们不熟 #2
```
非常感谢！
```
回复有任何疑惑可以回复我~ 2020-04-08 08:32:53

提问者我们不熟 2020-04-06 22:20:31

这样的，有几万个，我想使用scrapy爬这些地址的内容，但我不知道怎么弄出来循环的爬

0 回复有任何疑惑可以回复我~

bobby #1

这个用scrapy-redis解决 课程后面补录的视频  第十二章有这个内容

回复有任何疑惑可以回复我~ 2020-04-07 17:21:30

相似问题

数据库是否需要自己导入

如何把数据库的数据同步到向量数据库

Redis 能否标记内容是否已经采集

关于数据总线和地址总线单位的问题

关于操作数地址的问题

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5788 人
解答问题 6278 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.7k 30

MysqlTwistedPipline的对象没有cursor属性

2.5k 18

知乎answer提取不到

1.1k 18

为什么知乎数据导入不到MySQL数据库中？

1.3k 15

运行 scrapy crawl jobbole 报错

2.7k 15

查看更多本课问答

意见反馈帮助中心 APP下载