问题:爬取百度百科的电影,发现有的电影名称存在多义词,例如下:
在parse函数中,
1.如果是这种情况,要再yield Request爬取电影信息;
2. 否则就可以直接解析了。
我希望解析的逻辑封装在一个函数中进行复用,但是发现2的情况,解析函数没被调用。
我目前的解决方式,是也再yield 一次Request, 通过callback函数调用,但是这样比较浪费。
代码如下:
老师,这个问题如何优化解决呢?
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
了解课程