我这样爬取有问题么

Question

老师，我有个思路：爬取小说的时候，先把1000页的小说列表获取完，然后查询数据库取每本书的链接去获取目录，再去获取书的内容

A所有小说列表
B所有小说目录
C所有小说内容

A----->B------>C

这个我去实现了，但是走不通。是不是我的思路有问题，或者不能这样操作

Answer 1

提问者 慕无忌8052570 2020-09-21 19:30:29

是不是循环里面不能开线程么，   

Answer 2

提问者 慕无忌8052570 2020-09-21 14:13:26

我这样执行会导致什么呢

Answer 3

提问者 慕无忌8052570 2020-09-21 14:11:00

因为小说列表开了10个线程，小说目录也开了10个线程，导致列表没跑完，就跑目录了

• bobby #1

  你上面的部分是每个都是使用了join方法的，但是你的十个线程就是只有十页数据吗？如果这十个线程执行完成以后就代表join已经完成了 是不是你的十个线程只爬取一个列表页？

• 提问者 慕无忌8052570 回复 bobby #2

  问题解决了，了谢谢

• bobby 回复 提问者 慕无忌8052570 #3

  好的。

Answer 4

bobby 2020-09-20 13:09:04

行不通是什么意思 有什么问题？ 思路听起来没有什么问题