为什么要使用一张中间表

Question

直接使用kafka存入clikhouse不就可以,怎么还需要一张中间表做过度

Answer 1

weixin_慕UI3299604 2024-03-27 14:23:24

如果手动插入clickhouse就无法把握插入的时机，clickhouse适合批量的插入，如果数据量大，会导致后台文件过多，报一个too many parts异常，使用kafka表引擎和物化视图可以避免这个问题。

Answer 2

小简同学 2023-12-01 09:56:10

同学你好，clickhouse 不一定要将 Kafka 所有字段都存到 clickhouse ，如果直接存储，就无法筛选 Kafka 的字段，

• weixin_慕UI3299604 #1

  如果手动插入clickhouse就无法把握插入的时机，clickhouse适合批量的插入，如果数据量大，会导致后台文件过多，报一个too many parts异常，使用kafka表引擎和物化视图可以避免这个问题。