关于kafka出站速率的问题

Question

测试环境
均阿里云Centos7服务器,8核16G，走内网通信。
1台Producer，开启200个条线程，持续3分钟投递消息。总消息数量在百万级。
1台Kafka，接收消息用了1个Topic（包含10个partition），消费消息用了1个ConsumerGoup（包含10个Consumer）
1台Consumer，用线程池开启了20个不同的Consumer线程，每个consumer分别处理对应的partition消息。

问题
consumer消费极其缓慢，最终排查发现，kafka服务器的出站速率非常低。在1Mbps左右（个人猜想大概是这个原因导致消费缓慢），但不知道要怎么进行调优。还请老师解答一下，谢谢老师。

kafka出站速率

kafka写盘速率

和RabbitMQ做了对比，以下是RabbitMQ的出站速率

Rabbit的写盘速率

感觉kafka不应该这么低效的，但个人又不知道问题出在哪里，希望老师解答一下，谢谢老师。

Answer 1

Allen 2020-11-21 10:59:48

这个原因有可能很多方面， 要逐一排查。 比如你的Kafka如果是公有云产品，可能自带限制，直接联系客服。 如果是自建kafka，要看你的给kafka server做的缓存设置和写入相关配置， 这个可以在官网上直接找一下

• 提问者 LBruce #1

  将partition修改为1000，且开启20个consumer消费一个topic后，出站速率明显上升很多了。谢谢老师