MySQL数据删除问题

Question

老师，为什么删除MySQL数据的操作是在每个分区里面进行的？这样的话，不会把前面分区已经插入的数据再次删除吗？

Answer 1

Michael_PK 2020-09-15 13:09:33

你理解不对，这是是这个意思，如果你的作业重跑了，你原有的结果不删的话，那最终结果肯定就错了。这里体现的是幂等性

• 提问者 哆啦A梦爱学习吖 #1

  老师，我知道这个删除操作是为了重跑的时候先将原来mysql对应天的数据先删除，避免重复。我的意思是这个删除操作在rdd的每个partition里面执行，会不会有什么问题？

• Michael_PK 回复 提问者 哆啦A梦爱学习吖 #2

  我明白你的意思了，放到这里执行只有一个可能是对的，那就是只有一个分区，不然这地方是写的不严谨会导致结果被误删

• Michael_PK 回复 提问者 哆啦A梦爱学习吖 #3

  你的想法是对的