怎样实现scrapy实时爬取,并将结果返回

Question

老师你好,请问我想用scrapy实时爬取并将结果返回,有什么办法吗?

Answer 1

bobby 2019-05-10 12:22:30

实时抓取是什么意思呢？能举例说明一下吗

• 提问者 暗小影 #1

  简单的来说,我想接受一个url,然后用scrapy爬取到想要的信息后,好像只能存数据库,或写成文件,不能把结果直接返回.就好像我获取了源码的字符串,能返回给一个变量接受吗?

• bobby 回复 提问者 暗小影 #2

  我明白，你是想抓取到结果之后马上把结果返回给调用方是吧，这样你需要写一个web服务接口，通过这个url去发布请求任务，所以你需要懂web开发才行

• 提问者 暗小影 回复 bobby #3

  哦,了解了,谢谢