selenium 集成到scripy后，点击翻页问题

Question

我parse里能正常采集值存了，原本的在parse里判断是否有下一页标签，再交个Request，callback=parse.,现在需要selenium来点击下一页按钮，怎么做呢？
我这样没成功
在browser.click()这就报错停了

Answer 1

提问者 haoliyou 2018-10-18 22:18:02

   

改成xpath,后能翻到第二页，就还是报过滤重复就听了

• 提问者 haoliyou #1

  翻页click后，yield scrapy.Request(url=self.browser.current_url,）这个url是不是不这样写啊？哪里的问题啊？

• bobby 回复 提问者 haoliyou #2

  你先分析一下请求 第一： 是不是url都相同 但是是post 只是参数不同而已，如果是这样 你在request中加上dont_filter=True防止过滤 第二点就要考虑 这个请求是不是异步请求，就是说这个请求是不是不会刷新页面，如果是这样那后台返回的应该就是json数据，这样你就可以独立处理json数据了

• 提问者 haoliyou 回复 bobby #3

  老师你看下http://hotel.qunar.com/city/yaan/ 这个页面嘛，它的翻页和点击事件我都找不到线索，模仿了下拉，点击下一页，页面没有刷新，是post请求但没有json。纠结。。。。。

点开查看后面2条评论

Answer 2

提问者 haoliyou 2018-10-18 21:48:33

 

日志显示是访问重复过滤了，这个是post动态的 不知道什么办法了

Answer 3

提问者 haoliyou 2018-10-18 21:43:43

老师，http://hotel.qunar.com/city/yaan/ 这个页面有下拉又有js的下一页点击，怎么弄啊，试过css样式没有错，事件可能作用在li上，也可能在a上，都试过没成功。

Answer 4

提问者 haoliyou 2018-10-18 20:50:10

找了api,这样还是不行，能进if,click就报错死了

• bobby #1

  click只有有没有异常信息 截图我看看报错的异常

• 提问者 haoliyou 回复 bobby #2

  这个报错应该是点击事件没有在a上，我改成li上就能到第二页，但就不能继续三叶，报重复过滤了

• bobby 回复 提问者 haoliyou #3

  你加我qq 442421039