关于多次执行数据抽取的问题

Question

/project/tools2/bin/dminingmysql /log/idc/dminingmysql_ZHOBTMIND.log “127.0.0.1,root,mysqlpwd,mysql,3306utf8select obtid,date_format(ddatetime,’%%Y-%%m-%%d %%H:%%i:%%s’),t,p,u,wd,wf,r,vis,keyid from T_ZHOBTMIND where keyid>:1obtid,ddatetime,t,p,u,wd,wf,r,vis,keyid10,19,8,8,8,8,8,8,8,15ZHOBTMINDHYCZ/idcdata/dmindatakeyid/idcdata/dmining/dminingmysql_ZHOBTMIND_HYCZ.list30dminingmysql_ZHOBTMIND_HYCZ1000127.0.0.1,root,mysqlpwd,mysql,3306”

执行以上代码，对T_ZHOBTMIND表中的站点数据进行数据抽取。有一个问题是：如果想要重复执行，该如何操作？已经删除了/log/idc/dminingmysql_ZHOBTMIND.log下的日志文件和/idcdata/dmining/dminingmysql_ZHOBTMIND_HYCZ.list以及/idcdata/dmindata中生成的.xml文件。每次执行，日志文件里的内容都不会有任何改动，执行失败。

提示如下

2022-06-07 14:57:22 connect database(127.0.0.1,root,mysqlpwd,mysql,3306) ok.
2022-06-07 14:57:22 connect database(127.0.0.1,root,mysqlpwd,mysql,3306) ok.
2022-06-07 14:57:22 上次已抽取数据的位置（keyid=677073）。
2022-06-07 14:59:43 递增字段名0不在列表obtid,ddatetime,t,p,u,wd,wf,r,vis,keyid中。
2022-06-07 15:00:01 connect database(127.0.0.1,root,mysqlpwd,mysql,3306) ok.
2022-06-07 15:00:01 connect database(127.0.0.1,root,mysqlpwd,mysql,3306) ok.
2022-06-07 15:00:01 上次已抽取数据的位置（keyid=677073）。
2022-06-07 15:07:37 connect database(127.0.0.1,root,mysqlpwd,mysql,3306) ok.
2022-06-07 15:07:38 connect database(127.0.0.1,root,mysqlpwd,mysql,3306) ok.
2022-06-07 15:07:38 上次已抽取数据的位置（keyid=677073）。
2022-06-07 15:10:25 connect database(127.0.0.1,root,mysqlpwd,mysql,3306) ok.
2022-06-07 15:10:25 connect database(127.0.0.1,root,mysqlpwd,mysql,3306) ok.
2022-06-07 15:10:25 上次已抽取数据的位置（keyid=677073）。
2022-06-07 15:12:57 connect database(127.0.0.1,root,mysqlpwd,mysql,3306) ok.
2022-06-07 15:12:57 connect database(127.0.0.1,root,mysqlpwd,mysql,3306) ok.
2022-06-07 15:12:57 上次已抽取数据的位置（keyid=677073）。

是不是还有什么需要清理的地方没有清理，导致程序一直维持在之前的执行结果？即默认已经抽取了677073条数据，没有新的数据需要抽取。该如何清理，来让程序重新执行一次？

Answer 1

长歌_吴从周 2022-06-08 18:55:27

你增量抽取的id是存在数据库中的，不是list文件中。

你加入课程的Q群665410399中来，方便沟通。

• 提问者 Homo_sapiensQ #1

  那如何将数据库中存的增量抽取的id删除？

• 长歌_吴从周 回复 提问者 Homo_sapiensQ #2

  我有点奇怪，你问的问题就像没看视频，没写过这个程序一样。
  这个课程的价值是让你们自己写程序，而不是用我的程序。
  如果你自己写过这个程序，是不应该有这个疑问的。

• 提问者 Homo_sapiensQ #3

  我写了程序，也看了视频，不看视频写程序也不可能问出这样的问题，况且我在问你之前已经看了几遍相关的视频，视频中并没有我这个问题的答案。而且我的两次提问都没有得到解决问题的答案，我觉得我们之间的问答还是尽量输出有意义的内容吧，得到类似“要自学要认真要有自己解决问题的能力”的答案，这也不是我们在这里求助的意义。

点开查看后面3条评论