采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
老师您好,请教一个问题:
图1您写的回调代码,实现起来好像不是很理想
图2是我发现的一个规律,当知乎首页右侧的下拉菜单拉到底后会自动加载出新的页面,抓包看到是通过post提交,当offset,start每次加10就会加载新的页面。
需求:是不是可以通过图2这种方式来多提取question链接,如果可以,是一个什么样的思路。
亲 你这个思路是没有问题的,因为考虑到课程的复杂性所以前面这部分我讲的比较简单, 实际上后面selenium中有讲到关于如何模拟鼠标下拉,也可以获取更多的链接, 在这一章中我会讲解到获取到answer, 和你现在遇到的问题很类似, 你可以参考一下本章后面的小节, 大概意思就是在获取到所有的url之后,你自己去拼凑url然后yield request 回调函数写为parse就行了
非常感谢!
请问老师在yield里面还需要加上什么参数才能成功请求到动态加载的页面?
请求不了内容是什么意思?是没有进入parse函数吗, 而且你这里写成了parsea, 是拼写出错了吧
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.8k 30
2.5k 18
1.1k 18
1.4k 15
2.8k 15