kafka JAR 包冲突

Question

老师， org.apache.kafka： kafka_2.11   和  org.apache.spark ：spark-streaming-kafka-0-8_2.11  这两个依赖是不是互相冲突 ，同时引入这两个依赖，KafkaUtils.createDirectStream这个方法会报错，去掉org.apache.kafka： kafka_2.11 就好了，但有没有这两个依赖同时引用的可能，比如说我同一个项目既要kafka整合spark，同时这个项目又要用到kafka 原生的API（不知道我的表达和理解有没有问题）

              

Answer 1

Michael_PK 2018-05-18 15:35:02

明白你的意思，我感觉直接用streaming kafka那一个依赖可能就可以了，你尝试下

Answer 2

lamarsan 2019-01-25 22:53:47

我把Kafka的jar包去掉就好了，不然会冲突，报这个错误：Exception in thread "main" java.lang.ClassCastException: kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker

• Michael_PK #1

  是的，直接用streaming kafka的依赖就成了

Answer 3

慕虎1329236 2018-07-19 02:18:01

我也遇到你一样的问题了

• Michael_PK #1

  你把kafka自己的依赖去掉

• 慕虎1329236 回复 Michael_PK #2

  我把kafka自己的依赖去掉，还怎么把kafka.serializer.StringDecoder导进来？

Answer 4

提问者 qq_张奇_1 2018-05-18 19:35:35

好的我试一下