kafka集群的性能测试

Question

老师有个问题请教一下:
我现在需要对一个有3个节点的kafka集群进行性能测试，主要测试它能够支持同时对多少个topic进行读写。kafka有自带的测试工具，但是都是对一个topic进行压测，看能并发多少条数据这样子。我现在要对topic数量进行测试的话应该制定什么性能指标呢？然后应该怎么测啊。我自己写了一个java代码模拟生产者和消费者进行生产和消费，然后通过jmeter进行压测的，但是总感觉方法不太对，不知道怎么分析了。

Answer 1

大周 2019-08-10 11:53:49

其实kafka增加分区数最终影响的仍然是硬件方面的性能开销。所以你最终监控的仍然是硬件方面的性能。中间关于topic不用过于关注，因为它并不代表着机器的性能处理能力，topic的创建增加了吞吐量的同时也会给服务器带来压力，所以只要你的服务器能扛得住压力就行。这个跟硬件配置是有关联性的。

• 提问者 随性而为 #1

  我现在实际上是要增加topic的数量来给服务器增压，从而得到在我的环境中最多支持多少个topic。我现在的做法是分别模拟n个topic并发访问集群，然后监控服务器的磁盘读写性能这些。不知道就这样行不行，还是需要关注其他的什么指标之类的。