老师最近使用多进程爬虫，利用进程池pool(64)

Question

刚开始爬还挺快，跑一段时间后，最后只剩下四五个进程再跑了，其他进程都卡住不动了，为什么。

Answer 1

小布_老师 2022-04-22 21:26:58

线程处理爬虫，一般都是卡请求。

请求的超时默认120秒，如果响应一直不回来，线程只会死等。

推荐线程+协程

• 提问者 慕慕7513118 #1

  最近有在用协程  但是任务量太多 会报错  ValueError: too many file descriptors in select()
      tasks = [main(url) for url in a[0:2000]]
      loop.run_until_complete(asyncio.wait(tasks))  任务量超过五百个url就报错

• 小布_老师 #2

  是不是单loop添加太多任务了。
  你用多线程处理单loop吧

• 小布_老师 #3

  或者多线程多loop