使用免费ip虽然可以爬到数据, 但是有一些字段是None, 可是刚开始的时候是正常的

Question

请 bobby老师帮我做一下code review.

Answer 1

提问者 阜東原 2019-12-19 12:04:24

应该是使用代理ip还是被反爬. 看那个url字段就不太对.

• bobby #1

  很多公司反爬的策略比较多 ，比如有些直接不给你返回，有些是给你返回空数据，有些更过分的是甚至给你返回假数据， 如果遇到这种你可以尝试一下收费的ip代理，比如阿布云，很多免费的ip代理容易被识别出来