请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

豆瓣电影报错

图片描述

在运行的时候偶尔会报错,偶尔有正常,偶尔一开始正常后面就报错了,这是什么原因?
图片描述

正在回答 回答被采纳积分+3

插入代码

2回答

979811597 2023-04-01 23:01:29
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
def parse(url, params):
    res = requests.get(url, headers=headers, params=params, proxies=proxies)
    # print(json.dumps(res.json(), ensure_ascii=False,indent=4))
    try:
        if len(res.json()) == 0:
            return
 
        for item in res.json():
            data = {
                "title": item["title"],
                "release_date": item["release_date"],
                "cover_url": item["cover_url"],
                "url": item["url"],
                "score": item["score"],
                "types": item["types"],
                "rank": item["rank"],
                "actors": item["actors"],
                "regions": item["regions"],
                "actor_count": item["actor_count"],
                "vote_count": item["vote_count"]
            }
            res = col.insert_one(data)
            print(res.inserted_id)
 
        params_next = {
            'type'"11",
            'interval_id''100:90',
            'action': "",
            'start'str(int(params["start"]) + 20),
            'limit'"20"
        }
        parse(url, params_next)
    except:
        print("this data is empty")
        parse(url, params_next)


json.loads() 方法无法解析一个 JSON 字符串。该错误消息表明该 JSON 字符串是空的或者格式不正确,没有包含一个有效的 JSON 对象。当有部分需要获取的数据,没有及时加载出来时,就会报错。我也遇到了同样的错误,可以增加try-except增加程序的健壮性,这样虽然会有部分数据丢失,但是程序可以正常执行下去。

0 回复 有任何疑惑可以回复我~
Martin__Wang 2023-03-23 16:27:04

把你写的代码发来我看一下

0 回复 有任何疑惑可以回复我~
问题已解决,确定采纳
还有疑问,暂不采纳
Python 分布式爬虫与 JS 逆向进阶实战
  • 参与学习       99    人
  • 解答问题       26    个

20+ 案例 & 可接单级项目,全面提升爬虫实战能力

了解课程
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号