kafka单机版部署

下载kafka

在官网下载kafka最新版本。

如：当前最新2.4.0，针对Scala不同版本有不同的编译包，下载Scala 2.12的测试。

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.12-2.4.0.tgz

# 解压
tar -xzf kafka_2.12-2.4.0.tgz

#进入目录
cd kafka_2.12-2.4.0

启动

启动zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka

bin/kafka-server-start.sh config/server.properties

如果需要放到后台运行，可以加上&或者 nohup命令.
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

测试

创建主题

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

查看主题列表

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

向主题发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

从主题消费消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

搭建kafka集群

参考官网

./kafka-topics.sh --create --zookeeper 192.168.3.17:2181,192.168.3.19:2181,192.168.3.20:2181 --replication-factor 1 --partitions 1 --topic first_kafka

./kafka-console-producer.sh --broker-list 192.168.3.17:9092,192.168.3.19:9092,192.168.3.20:9092 --topic first_kafka

./kafka-console-consumer.sh --bootstrap-server 192.168.3.17:9092,192.168.3.19:9092,192.168.3.20:9092 --topic first_kafka --from-beginning

./kafka-topics.sh --describe --zookeeper 192.168.3.17:2181,192.168.3.19:2181,192.168.3.20:2181 --topic first_kafka

./kafka-topics.sh --list --zookeeper 192.168.3.17:2181,192.168.3.19:2181,192.168.3.20:2181

./kafka-topics.sh --delete --zookeeper 192.168.3.17:2181,192.168.3.19:2181,192.168.3.20:2181 --topic first_kafka