请稍等 ...

对美团美食按照组合提取所有商家信息，如a1类型，b2地区，c3用餐人数的组合URL是./meishi/a1b2c3,要怎么设置提取规则比较合理呢？

qq_鸣神剑二_0 2018-06-01 15:00:23

源自：14-13 scrapy写入数据到elasticsearch中 - 2

839

收起

提交取消

1回答

提问者 qq_鸣神剑二_0 2018-06-01 15:03:00

美团网有爬取深度的限制，不能从首页用crawlspider全站提取，只能按照组合提取商家信息。求助！

0 回复有任何疑惑可以回复我~

bobby #1
```
这种直接穷举所有组合拼接url抓取试试
```
回复有任何疑惑可以回复我~ 2018-06-04 09:53:10
蓝莓圣代 #2
```
朋友抓取美食这块你是怎么做的呢
```
回复有任何疑惑可以回复我~ 2018-08-21 14:00:07

相似问题

老师比如我想动态获取美团美食的数据动态抓取到网页之后还怎么处理呢

Bank和Account是组合还是聚合

子组件怎么获取父组件ajax回来的数据

使用SparkSQL做简单业务计算时如何合理的分区读取以及合理的使用分区？

请问撮合系统如何做到高可用的？Disruptor在撮合系统中作用是什么？

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5829 人
解答问题 6293 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

5.5k 30

MysqlTwistedPipline的对象没有cursor属性

2.9k 18

知乎answer提取不到

1.6k 18

为什么知乎数据导入不到MySQL数据库中？

1.8k 15

运行 scrapy crawl jobbole 报错

3.4k 15

查看更多本课问答

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

扫描二维码
关注慕课网微信公众号