老师，我点刷新接口出不来是什么原因呢？

Question

Answer 1

NavCat 2018-11-05 10:19:28

淘宝双11做了较大调整，不按接口返回了，使用正则爬去代码参考

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38

import requests import re import json   def spider_tb(sn ,book_list=[]):     url = 'https://s.taobao.com/search?q={0}'.format(sn)     #获取html内容     text = requests.get(url).text       # 使用正则表达式找到json对象     p = re.compile(r'g_page_config = (\{.+\});\s*', re.M)     rest = p.search(text)     if rest:         print(rest.group(1))         data = json.loads(rest.group(1))         bk_list = data['mods']['itemlist']['data']['auctions']           print (len (bk_list))         for bk in bk_list:             #标题             title = bk["raw_title"]             print(title)             #价格             price = bk["view_price"]             print(price)             #购买链接             link = bk["detail_url"]             print(link)             #商家             store = bk["nick"]             print(store)             book_list.append({ 'title' : title, 'price' : price, 'link' : link, 'store' : store })             print ('{title}:{price}:{link}:{store}'.format( title = title, price = price, link = link, store = store ))        if __name__ == '__main__':     spider_tb('9787115428028')

• 提问者 Samuel10 #1

  谢谢老师

Answer 2

提问者 Samuel10 2018-11-06 22:15:21

老师代码运行不成功是什么原因呢

Answer 3

NavCat 2018-11-04 15:29:35

淘宝的更改了实现方式，不通过接口来返回数据了。你可以查看页面源代码，数据在页面上的js中

• 提问者 Samuel10 #1

  老师，我怎么获取js代码呢

• 提问者 Samuel10 #2

  老师，我怎么获取js代码呢

• NavCat 回复 提问者 Samuel10 #3

  跟爬取京东的一样，可以用正则表达式，或者xpath都可以的

点开查看后面3条评论