scrapy如何实时接收url实时返回结果

Question

老师你好，经过学习，认识到scrapy好像都是后台进行目标站点预先爬取大量数据，并且存到数据库之后，前端再调用数据库的。

有没有什么思路是实现：用户大量，并且各用户可能随时传入一个接口url调用数据，url可能重复，但调取的数据量不算大，希望爬虫针对每个用户传入的url，实时到接口爬取相应数据并返回。有何种办法或者是否有相关的项目案例可参考？

比如当前有100个用户，同时向爬虫传送url，url可能重复或不重复，他们都希望即时返回爬取结果，有没有方法实现呢？多线程或多进程可以吗？有url就处理，爬完就停掉？

Answer 1

bobby 2018-05-22 18:30:01

你这个用协程就能满足 但是你的ip资源是个问题 比如多个用户都要同时获取同一个网站的url 你会被封ip的