scrapy如何实时接收url实时返回结果

Question

老师你好，经过学习，认识到scrapy好像都是后台进行目标站点预先爬取大量数据，并且存到数据库之后，前端再调用数据库的。

有没有什么思路是实现：用户大量，并且各用户可能随时传入一个接口url调用数据，url可能重复，但调取的数据量不算大，希望爬虫针对每个用户传入的url，实时到接口爬取相应数据并返回。有何种办法或者是否有相关的项目案例可参考？

Answer 1

bobby 2018-05-22 18:28:23

你是想根据用户的请求实时抓取吧， 这种情况除非你有强大的后台以及强大的ip资源，不然你做不到的或者你购买ip资源服务

• 提问者 changezyc #1

  对对对就是根据用户请求实时抓取，假设资源和后台不是问题，但是好像也没有办法做到“实时”吧，毕竟还是有爬取解析到回送还是有一定延时。那老师，如果有资源的情况下，大概什么思路呢？后者有没有相应的框架能实现？

• bobby 回复 提问者 changezyc #2

  当然有延迟，但是如果你的资源没有问题 延迟也就请求url的时间 也就几秒 还是可以接受的吧