请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

MysqlTwistedPipline的对象没有cursor属性

Failure instance: Traceback: <class 'AttributeError'>: 'MysqlTwistedPipline' object has no attribute 'cursor'

正在回答 回答被采纳积分+3

插入代码

5回答

qq_鼬的天空_0 2018-05-01 02:14:00

看看do_insert里面最后一行是不是cursor.execute前面是不是多加了self.    。


1 回复 有任何疑惑可以回复我~
撸猫猫吃串串 2017-09-08 10:36:25

https://img1.sycdn.imooc.com/szimg//59b2020500015c8110620540.jpg

https://img1.sycdn.imooc.com/szimg//59b202050001580007080583.jpg代码如下

1 回复 有任何疑惑可以回复我~
  • bobby #1
    参考一下我上面的源码
    回复 有任何疑惑可以回复我~ 2017-09-11 11:48:19
  • 亲你的最后咋解决的  我的跟你的一样
    回复 有任何疑惑可以回复我~ 2018-04-20 10:29:18
  • 源码参考后,出现
    [Failure instance: Traceback: <class 'MySQLdb._exceptions.IntegrityError'>: (1364, "Field 'comment_nums' doesn't have a default value")
    请问老师,这是什么原因?
    回复 有任何疑惑可以回复我~ 2019-02-25 10:57:34
bobby 2017-09-11 11:48:03
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
# -*- coding: utf-8 -*-
 
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import codecs
import json
 
from scrapy.pipelines.images import ImagesPipeline
from scrapy.exporters import JsonItemExporter
from twisted.enterprise import adbapi
 
import MySQLdb
import MySQLdb.cursors
 
class ArticlespiderPipeline(object):
    def process_item(self, item, spider):
        return item
 
 
class JsonWithEncodingPipeline(object):
    #自定义json文件的导出
    def __init__(self):
        self.file = codecs.open('article.json''w', encoding="utf-8")
    def process_item(self, item, spider):
        lines = json.dumps(dict(item), ensure_ascii=False+ "\n"
        self.file.write(lines)
        return item
    def spider_closed(self, spider):
        self.file.close()
 
 
class MysqlPipeline(object):
    #采用同步的机制写入mysql
    def __init__(self):
        self.conn = MySQLdb.connect('192.168.0.106''root''root''article_spider', charset="utf8", use_unicode=True)
        self.cursor = self.conn.cursor()
 
    def process_item(self, item, spider):
        insert_sql = """
            insert into jobbole_article(title, url, create_date, fav_nums)
            VALUES (%s, %s, %s, %s)
        """
        self.cursor.execute(insert_sql, (item["title"], item["url"], item["create_date"], item["fav_nums"]))
        self.conn.commit()
 
 
class MysqlTwistedPipline(object):
    def __init__(self, dbpool):
        self.dbpool = dbpool
 
    @classmethod
    def from_settings(cls, settings):
        dbparms = dict(
            host = settings["MYSQL_HOST"],
            db = settings["MYSQL_DBNAME"],
            user = settings["MYSQL_USER"],
            passwd = settings["MYSQL_PASSWORD"],
            charset='utf8',
            cursorclass=MySQLdb.cursors.DictCursor,
            use_unicode=True,
        )
        dbpool = adbapi.ConnectionPool("MySQLdb"**dbparms)
 
        return cls(dbpool)
 
    def process_item(self, item, spider):
        #使用twisted将mysql插入变成异步执行
        query = self.dbpool.runInteraction(self.do_insert, item)
        query.addErrback(self.handle_error, item, spider) #处理异常
 
    def handle_error(self, failure, item, spider):
        #处理异步插入的异常
        print (failure)
 
    def do_insert(self, cursor, item):
        #执行具体的插入
        #根据不同的item 构建不同的sql语句并插入到mysql中
        insert_sql, params = item.get_insert_sql()
        cursor.execute(insert_sql, params)
 
 
class JsonExporterPipleline(object):
    #调用scrapy提供的json export导出json文件
    def __init__(self):
        self.file = open('articleexport.json''wb')
        self.exporter = JsonItemExporter(self.file, encoding="utf-8", ensure_ascii=False)
        self.exporter.start_exporting()
 
    def close_spider(self, spider):
        self.exporter.finish_exporting()
        self.file.close()
 
    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item
 
 
class ArticleImagePipeline(ImagesPipeline):
    def item_completed(self, results, item, info):
        if "front_image_url" in item:
            for ok, value in results:
                image_file_path = value["path"]
            item["front_image_path"= image_file_path
 
        return item

建议大家可以将我这里的源码拷贝过去, 然后运行一下 然后对照一下看看哪个地方代码不一样, 一般这种问题都是代码某个地方写错了 或者遗漏了

0 回复 有任何疑惑可以回复我~
  • 老师最后他这个问题咋结局 的了  我的跟他一样  看起来也没有地方写错啊
    回复 有任何疑惑可以回复我~ 2018-04-20 10:30:07
提问者 NeikoAnimo 2017-08-23 08:26:27

https://img1.sycdn.imooc.com/szimg//599ccb4900017aa014580876.jpghttps://img1.sycdn.imooc.com/szimg//599ccb4900017aa014580876.jpg截图已贴

0 回复 有任何疑惑可以回复我~
  • bobby #1
    亲 你在do_insert函数中 调用cursor函数的时候写错了 前面没有self
    回复 有任何疑惑可以回复我~ 2017-08-23 09:41:46
  • 同学,你问题解决了吗?遇到一模一样的
    回复 有任何疑惑可以回复我~ 2017-09-06 12:18:55
  • bobby #3
    参考一下我上面的源码
    回复 有任何疑惑可以回复我~ 2017-09-11 11:48:26
bobby 2017-08-22 09:41:00

亲 你贴一下代码 应该是init函数的地方写错了

0 回复 有任何疑惑可以回复我~
  • 请问下老师,遇到一模一样的错误 ,应该怎么解决呢
    回复 有任何疑惑可以回复我~ 2017-09-06 12:32:07
  • 你给我截图看看你的代码逻辑
    回复 有任何疑惑可以回复我~ 2017-09-08 09:41:44
  • 回复 __bobby老师,已经在原问题下截图 ,因为同步存入数据库没有问题,所以只截了MysqlTwistedPipeline的图
    回复 有任何疑惑可以回复我~ 2017-09-08 10:37:52
问题已解决,确定采纳
还有疑问,暂不采纳
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号