CrawlerProcess(settings) 启动爬虫 settings 设置无效

Question

project_settings = get_project_settings()
settings = project_settings.copy_to_dict()

settings['PARENT_SPIDER_KEY'] = 'a'

process = CrawlerProcess(settings)
process.crawl(crawler_name, rule=rulers)
process.start()

老师我用这种方式启动爬虫，在这里把 settings 中的 PARENT_SPIDER_KEY 键改为 a 这个值，但是在爬虫程序里调用get_project_settings 获取不到刚才的 a 那个值，PARENT_SPIDER_KEY 的值还是 配置文件中的默认设置，我想通过 CrawlerProcess(settings) 动态改变 PARENT_SPIDER_KEY 的值 该怎么写？

Answer 1

bobby 2018-12-14 18:43:21

https://stackoverflow.com/questions/42300562/how-to-pass-custom-settings-through-crawlerprocess-in-scrapy  https://segmentfault.com/q/1010000012148638  你看看这个能不能解决你的问题