网赌平台哪个信誉好Kafka性能测试

$m=M('User');  $data['sex']=0;  $data['username']='gege';  $data['_logic']='or';  $arr=$m->where($data)->find();

集群配置

  • 3个Node 3个节点;
  • cpu: 40c
  • memory: 256G
  • 带宽: 4G

 

4 和响应方式的关系(acks)
  • 测试脚本

./bin/kafka-producer-perf-test2.sh --broker-list cmjx-slave232:9092 --topics s1 --messages 1000000  --message-size 4096 --batch-size 10000  --threads 10 --request-num-acks 0
./bin/kafka-producer-perf-test2.sh --broker-list cmjx-slave232:9092 --topics s1 --messages 1000000  --message-size 4096 --batch-size 10000  --threads 10 --request-num-acks 1 --hide-header
  • 测试结果
ack MB/S nMsg/S
不响应 285.8999 73190.3681
leader响应 276.9408 70896.8451

 

3 和日志大小的关系(message-size)
  • 测试脚本

./bin/kafka-producer-perf-test2.sh --broker-list cmjx-slave232:9092 --topics s1 --messages 1000000  --message-size 1024 --batch-size 10000  --threads 10 
./bin/kafka-producer-perf-test2.sh --broker-list cmjx-slave232:9092 --topics s1 --messages 1000000  --message-size 4096 --batch-size 10000  --threads 10 --hide-header
./bin/kafka-producer-perf-test2.sh --broker-list cmjx-slave232:9092 --topics s1 --messages 1000000  --message-size 8192 --batch-size 10000  --threads 10 --hide-header
./bin/kafka-producer-perf-test2.sh --broker-list cmjx-slave232:9092 --topics s1 --messages 1000000  --message-size 10240 --batch-size 10000  --threads 10 --hide-header
./bin/kafka-producer-perf-test2.sh --broker-list cmjx-slave232:9092 --topics s1 --messages 1000000  --message-size 20480 --batch-size 10000  --threads 10 --hide-header
./bin/kafka-producer-perf-test2.sh --broker-list cmjx-slave232:9092 --topics s1 --messages 1000000  --message-size 40960 --batch-size 10000  --threads 10 --hide-header
  • 测试结果
Message-size MB/S nMsg/S
1024 209.7428 214776.6323
4096 282.9386 72432.2758
8192 251.3108 32167.7872
10240 233.6218 23922.8727
20480 220.0903 11268.6214
$m=M('User');   $arr=$m->where("sex=0 and username='gege'")->find();

Cosumer测试

 

5 和压缩方式的关系(compression-codec)
  • 测试脚本

./bin/kafka-producer-perf-test2.sh --broker-list cmjx-slave232:9092 --topics s1 --messages 1000000  --message-size 4096 --batch-size 10000  --threads 10 --compression-codec 0 
./bin/kafka-producer-perf-test2.sh --broker-list cmjx-slave232:9092 --topics s1 --messages 1000000  --message-size 4096 --batch-size 10000  --threads 10 --compression-codec 1 --hide-header
./bin/kafka-producer-perf-test2.sh --broker-list cmjx-slave232:9092 --topics s1 --messages 1000000  --message-size 4096 --batch-size 10000  --threads 10 --compression-codec 2 --hide-header
  • 测试结果
compresson-codec MB/S nMsg/S
非压缩 274.5853 70293.8282
Gzip 267.6981 68530.7018
Snappy 827.5953 211864.4068

这种方式默认是and关系,如果想使用or关系,如下:

JVM配置

-Xmx30G -Xms30G -XX:MaxPermSize=48m -server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35

使用字符串方式是:

Producer测试

使用数组方式:

2. 和抓取数据量的关系(fetch-size)
  • 测试脚本

./bin/kafka-consumer-perf-test.sh --broker-list cmjx-slave232:9092 --zookeeper cmjx-slave236:2181 --topic s1 --messages 1000000 --fetch-size  1000  --threads 10
./bin/kafka-consumer-perf-test.sh --broker-list cmjx-slave232:9092 --zookeeper cmjx-slave236:2181 --topic s1 --messages 1000000 --fetch-size  2000  --threads 6 --hide-header 
./bin/kafka-consumer-perf-test.sh --broker-list cmjx-slave232:9092 --zookeeper cmjx-slave236:2181 --topic s1 --messages 1000000 --fetch-size  5000  --threads 6  --hide-header
./bin/kafka-consumer-perf-test.sh --broker-list cmjx-slave232:9092 --zookeeper cmjx-slave236:2181 --topic s1 --messages 1000000 --fetch-size  10000  --threads 6 --hide-header
./bin/kafka-consumer-perf-test.sh --broker-list cmjx-slave232:9092 --zookeeper cmjx-slave236:2181 --topic s1 --messages 1000000 --fetch-size  15000  --threads 6 --hide-header
  • 测试结果
Fetch-Size MB/S nMsg/S
2000 13.2777 13922.7289
5000 46.4211 48676.0125
10000 75.8128 79495.4688
15000 92.6737 97175.4341
You can leave a response, or trackback from your own site.

Leave a Reply

网站地图xml地图