请稍等 ...

Flume写入Hive

请问老师，从您的工作经验来看，Flume写入HIve会不会比写入Hbase慢些呀？我没有用大量数据具体实验过，从学了您这么多课来看，hive主要还是mapreduce在操作我觉得肯定没有flume写入到Hbase快

Panda_io 2021-11-28 18:12:32

源自：5-14 【讨论题】谈谈你对Kafka的认识

410

收起

提交取消

1回答

Michael_PK 2021-11-30 00:52:37

一般不会flume直接到hive的，因为flume过来的数据不一定是规整后的数据，很大可能有脏数据啥的。

所以需要对flume的数据进行ETL后，再落入hive中

0 回复有任何疑惑可以回复我~

相似问题

hive编写作业，计算结果是保存到hdfs ，还是hive能保存到hbase？

flume-ng version 报错

flume配置时报错，找不到主类

bin/flume-ng启动后没有反应

scala建表，hive查询为空

登录后可查看更多问答，登录/注册

Spark3实时处理-Streaming+StructuredStreaming实战

参与学习 336 人
解答问题 238 个

实战Spark3实时处理，掌握两套企业级处理方案

了解课程

本课精华内容

问答作业

Hbase本地idea查询卡死

1.8k 15

使用foreach方法保存offset相关信息时，offset相关信息必须作为groupby参数传递，统计结果表不能聚合

1.1k 15

报错

1.2k 12

报错ClassNotFoundException: org.apache.但是这个HTTPCLIENT在我的POM里已经导入了

909 11

调用2次foreach方法分别保存到redis的2个key时,只有第2次保存成功

1.2k 9

查看更多本课问答

意见反馈帮助中心 APP下载