kafka的数据，如何传递到结构化流？

Question

描述：
kafka的topic是zhang-replicated-topic

开启的服务有：
（1）dfs
（2）yarn
（3）zookeeper
（4）master
（5）多broker的kafka
（6）nohup java -jar log-web-0.0.1-SNAPSHOT.jar

[hadoop@spark000 sbin]$ jps -m
9408 Kafka /home/hadoop/app/kafka_2.12-2.5.0/config/server-zhang1.properties
9829 Kafka /home/hadoop/app/kafka_2.12-2.5.0/config/server-zhang2.properties
7656 NodeManager
9928 Master --host spark000 --port 7077 --webui-port 8080
8633 QuorumPeerMain /home/hadoop/app/zookeeper-3.4.5-cdh5.16.2/bin/../conf/zoo.cfg
6795 NameNode
9003 Kafka /home/hadoop/app/kafka_2.12-2.5.0/config/server-zhang0.properties
6956 DataNode
10236 Jps -m
7342 ResourceManager
8366 jar
7151 SecondaryNameNode

问题：
运行后
（1）redis里没有出现教学视频中的key：day-province-cnts-

（2）C:\Users\jieqiong\IdeaProjects\log-time\log-sss\src\main\scala\com\imooc\spark\sss\project\SSSApp.scala

和

C:\Users\jieqiong\IdeaProjects\log-time\log-service\src\main\java\com\imooc\bigdata\log\utils\Test.java

两个运行是各自运行各自的，数据并没有传递到SSSApp.scala中来处理。

是没有开启什么服务吗？
kafka的consumer需要开启吗？
SSSApp.scala是从kafka的什么地方接收数据的？

Answer 1

Michael_PK 2022-04-05 19:27:07

这个问题等位很简单，分两步：

1）你不要直接写redis，你直接把结果打印到控制台，看看是否真的有结果输出

2）第一步成立了，那就检查是否是数据sink到redis出了问题。  如果第一步就不成立，那就说明代码根本就没有结果数据输出

• 提问者 酱汁怪兽 #1

  测试了一下，控制台上有输出
  .format("console") // 这的console操作是结果显示在控制台 ==> Redis

• Michael_PK 回复 提问者 酱汁怪兽 #2

  那就说明到redis有问题，检查redis连接，写到了哪个redis的库里去了