请求CSD乱码

Question

scrapy shell 在请求https://bbs.csdn.net/forums/ios 时返回如下图


添加headers，和cookies 还是无法返回正确热HTML

Answer 1

bobby 2019-12-11 10:50:12

csdn的这里做了反爬 所以只使用scrapy shell不方便， 你使用selenium去请求并获取html就行了，因为这里csdn请求经过了两步才能完成， 第一步请求会返回一段js文本，js逻辑会再去请求一次，第二次才是html内容

• 提问者 燚燚生辉 #1

  非常感谢！

• 提问者 燚燚生辉 #2

  用scrapy爬取的话就必须将Sselenium集成到scrapy当中？

• bobby 回复 提问者 燚燚生辉 #3

  你想集成到什么地方去？

点开查看后面2条评论