题目描述:
使用多线程和多进程爬虫两者之间的区别是什么?有没有办法可以让爬虫的并发更高?,比如使用 asyncio,如果合适的话使用 asyncio 做爬虫的优势是什么?以及为什么?
思路点拨:
异步 io 做爬虫是非常合适的场景,那么对一个爬虫来说更重要的是并发还是反爬?
使用多线程和多进程爬虫两者之间的区别是什么?有没有办法可以让爬虫的并发更高?,比如使用 asyncio,如果合适的话使用 asyncio 做爬虫的优势是什么?以及为什么?
异步 io 做爬虫是非常合适的场景,那么对一个爬虫来说更重要的是并发还是反爬?
数据加载中...