hdfs 作为spark streaming 的实时存储是否合适,会产生大量小文件是否不稳定

Question

老师 hdfs 作为spark streaming 的实时存储是否合适,会产生大量小文件是否不稳定
请问目前生产的实时存储都是 hbase
那么请问 hbase 如何转换为 spark dataframe
网上的版本大部分都太老了, 请问应该使用哪个框架,hbase1.2 与 hadoop 都是使用课堂使用的

Answer 1

Michael_PK 2018-10-07 17:27:33

HBase和spark SQL整合，你可以搜下对应的外部数据源，我记得是有的

• 提问者 慕运维7479159 #1

  请问慕课网目前实时存储使用的是hbase吗

• 提问者 慕运维7479159 #2

  Exception in thread "dag-scheduler-event-loop" java.lang.NoSuchMethodError: org.apache.hadoop.mapreduce.InputSplit.getLocationInfo()[Lorg/apache/hadoop/mapred/SplitLocationInfo;
  	at org.apache.spark.rdd.NewHadoopRDD.getPreferredLocations(NewHadoopRDD.scala:289)
  	at org.apache.spark.rdd.RDD$$anonfun$preferredLocations$2.apply(RDD.scala:275)
  	at org.apache.spark.rdd.RDD$$anonfun$preferredLocations$2.apply(RDD.scala:275)
  	at scala.Option.getOrElse(Option.scala:121)
  	at org.apache.spark.rdd.RDD.preferredLocations(RDD.scala:274)

• Michael_PK 回复 提问者 慕运维7479159 #3

  这是自己写的，有对应的框架

点开查看后面4条评论

Answer 2

Michael_PK 2018-10-07 17:26:59

streaming处理完在HDFS这种方案不建议，小文件太多

• 提问者 慕运维7479159 #1

  这些框架都太旧了,不能用