老师，我爬取京东数据显示不出来，请帮我看看。谢谢

Question

import requests
from lxml import html

def spider_id(sn):
    """ 爬取京东商城的图书信息 """
    url = 'https://search.jd.com/Search?keyword={0}'.format(sn)
    #获取HTML信息
    html_data = requests.get(url).text
    #获取xpath对象
    selector = html.fromstring(html_data)
    #寻找书本列表
    ul_list = selector.xpath('//div[@id="J_goodsList"]/ul/li')
    print(len(ul_list))

if __name__ == '__main__':
    sn = '9787115428028'
    spider_id(sn)

Answer 1

NavCat 2019-11-06 20:12:45

京东添加了反爬机制，在请求头中添加User-Agent即可，参考代码：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

import requests from lxml import html   def spider_id(sn):     """ 爬取京东商城的图书信息 """     url = 'https://search.jd.com/Search?keyword={0}'.format(sn)       headers = {         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'     }     #获取HTML信息     html_data = requests.get(url, headers=headers).text     # print(html_data)     #获取xpath对象     selector = html.fromstring(html_data)     #寻找书本列表     ul_list = selector.xpath('//div[@id="J_goodsList"]/ul/li')     print(len(ul_list))   if __name__ == '__main__':     sn = '9787115428028'     spider_id(sn)

• 提问者 在高原的阿北 #1

  谢谢老师

• 慕沐2093547 #2

  老师又不行了、

• NavCat 回复 慕沐2093547 #3

  我刚刚试了下是可以的哦，同学你遇到的是什么问题，贴下代码和错误截图，老师好帮你排查

点开查看后面4条评论