博客园只能爬取每页的第一条,什么鬼啊

Question

老师,爬取博客园的那个,问什么我只能爬取到每一页的第一条,其他的都爬取不了

Answer 1

bobby 2020-01-05 11:28:00

中途有没有报错信息 或者非200的状态码？

• 提问者 谁说我胖 #1

  没有的，我看控制台信息到第七页就是302，那是需要登录，数据库也只有前六页的第一条数据，只能拿到没页的第一条数据。但是我把循环内的xpath换成css解析就可以正常爬取数据，难道是xpath不可以连续解析吗

• bobby 回复 提问者 谁说我胖 #2

  那估计是xpath写错了 你截图我看看你的xpath是如何写的？

• 提问者 谁说我胖 回复 bobby #3

  老师,我发到另外一个回答了,你看看

点开查看后面1条评论

Answer 2

提问者 谁说我胖 2020-01-10 15:44:14

这是所有的xpath了

• qq_慕桂英5086076 #1

  for循环里面的xpath提取要./开头

• 我的可乐说 回复 qq_慕桂英5086076 #2

  哇，是的，我也出现这个问题了，在/前加了.就可以了，太谢谢了！