我想问一下scrapy和普通library的区别是什么

Question

老师您好，我是python新手。
在我的理解中，我写一个程序，在需要一些特殊方法的时候，我可以import一个library，然后直接调用里面的方法就行。
而在scrapy中，则需要执行一些命令生成一个新工程
我试过在外部导入scrapy，但没办法执行，报错提示没有scrapy的crawl，我有点迷惑scrapy项目的组成

举个例子，比如我想爬取两个网站A和B的某些内容
首先我去A网站爬取，然后从结果中提取特定字段组成B网站，然后再爬取B网站
如果要实现这个需求的话，那我需要创建两个scrapy工程？如果我有一系列这种需求，那我要创建一系列scrapy工程吗

请老师解惑，或者分享一些文章，让我可以理解scrapy的目录架构

Answer 1

bobby 2021-03-29 11:05:45

你的报错提示截图我看看呢？ 其实是这样的，对于爬虫来说，很多爬虫都会面临着同样的需求。比如爬虫策略啊，爬虫中的数据入库啊，唯一的区别就是解析策略不一样，所以在scrapy中不同网站的爬虫你只需要写spider的主要解析逻辑即可，其他的代码都可以共用，比如设置user-agent等，如果你建立两个项目的话，那么万一后面的某一个策略变了，比如user-agent的库换了，这个时候你建立了10个爬虫，那么就是10个项目，那是不是意味着你得改十份代码？改一次还行，随着后面越改越多你会崩溃的