Selenium 返回乱码

Question

老师请问我在爬取期货网站的时候发现是动态加载的，就打算用selenium来爬取。不论是用id还是css选择器还是xpath，爬取出来的结果都是这样的，您看：

请问是遇到反爬了吗？

Answer 1

提问者 FridericusRex 2021-04-03 17:18:43

老师我正则表达式可以提取出这个data后面的数值了，但是放到爬虫上面的话它显示“expected string or bytes-like object”，因为我这个Selector 取出的是selector list，而不是string类型，请问怎么办呢？

• 提问者 FridericusRex #1

  问题已解决：加上一个.extract()[0]

• bobby 回复 提问者 FridericusRex #2

  好的、

Answer 2

提问者 FridericusRex 2021-04-03 16:04:44

谢谢老师，现在我内容已经可以爬下来了。但是请问我怎么单独吧这个data后面的数字取出呢？请问是要用上正则表达式吗？

Answer 3

bobby 2021-03-22 11:50:48

这里是正确的 因为你使用的是selenium的find所以查询出来的元素类型是selenium的类型，当然不会是scrapy的类型了

• 提问者 FridericusRex #1

  那请问我怎么获得这个价格的数字呢？

• bobby 回复 提问者 FridericusRex #2

  将selenium的page_source用于生产一个scrapy的selector对象 然后使用xpath来获取