老师,你好,通过学习课程进行实际生产的使用,但是出现以下问题

Question

老师,你好,通过学习课程进行实际生产的使用,但是出现以下问题

程序flume kafka 会造成阻塞,造成新的数据插入不进去, 然后阻塞 一两个小时后又恢复原样,

以下是flume 配置

不知道是哪里出问题,请给建议,有没有不合适的配置

a1.channels = c1

a1.sources = r1

a1.sinks = k1

a1.channels.c1.type = memory

a1.channels = c1

a1.channels.c1.capacity = 500000

a1.channels.c1.transactionCapacity = 100000

a1.channels.c1.byteCapacityBufferPercentage = 10

a1.channels.c1.byteCapacity = 3000000

a1.channels.c1.keep-alive = 5

a1.sources.r1.type = thrift

a1.sources.r1.bind = hadoop11

a1.sources.r1.port = 9090

a1.sources.r1.batchTimeout = 3000

a1.sources.r1.threads =100

#a1.sources.r1.kafka.consumer.timeout.ms = 100

a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink

a1.sinks.k1.topic = streaming_spark230_topic

a1.sinks.k1.brokerList =hadoop10:9092,hadoop11:9092,hadoop12:9092

a1.sinks.k1.requiredAcks = 1

a1.sinks.k1.batchSize = 1000

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

Answer 1

Michael_PK 2018-06-06 19:21:15

发生堵塞的原因很多：网络是否OK？kafka机器的负载是否过高？flume channel的数据是否过多来不及消费？等等等等因素

• 提问者 慕运维7479159 #1

  老师能将配置的内容给说明一下吗，我这个配置是否 channel 配置是否有问题，应该调整哪个值，使数据及时消费，另外 我将kafka升版到10.1 flume1.6，这两个版本兼容吗

• Michael_PK #2

  升级后参数兼容与否要自己测试才知道，我没测试过也不知道，具体每个参数什么意思建议flume官网查阅。提醒下那个capacity的参数是优化点

• 提问者 慕运维7479159 回复 Michael_PK #3

  十分感谢