抓取多个音乐网站的数据

Question

想实现的功能：
用户输入歌曲名，程序调用各个音乐网站的查询接口，将所有返回的数据整合成一个列表供用户选择，程序根据用户所选列表序号再去下载对应的文件。因为各个网站的解析规则都不同，是用一个spider里实现多个解析函数更好还是为每个网站编写一个spider更好呢？另外scrapy是不是更适合抓取大量数据的场景？

Answer 1

bobby 2021-08-23 21:34:44

一般这种情况下 建议使用各个网站自身提供的api接口， 也就是一般各个网页都会提供开放api的，没有必要去抓取，这样你后期的维护成本太高了

• 提问者 littlemon #1

  非常感谢！