kafka集群部署

部署

准备三台服务器，每台机器都需要安装 java 环境 、 zookeeper 、kafka。

1. java 环境

   Your local environment must have Java 8+ installed.

yum install java-1.8.0-openjdk-devel -y 
java -version

2. 下载 kafka

# https://kafka.apache.org/downloads, 推荐下载 Scala 2.13 版本
wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

tar -xzf kafka_2.13-3.7.1.tgz
cd kafka_2.13-3.7.1

3. 配置 config/zookeeper.properties

dataDir=/home/zookeeper/data
dataLogDir=/home/zookeeper/log
clientPort=2181
tickTime=2000
initLimit=10
syncLimit=5
# 3台服务器IP
server.1=172.16.20.152:2888:3888
server.2=172.16.20.153:2888:3888
server.3=172.16.20.154:2888:3888

在 dataDir 目录下创建 myid 文件，3 台机器分别写 1, 2, 3.

[root@data9 kafka_2.13-3.7.1]# cat /home/zookeeper/data/myid 
1

4. 启动zookeeper

# 前台启动
bin/zookeeper-server-start.sh config/zookeeper.properties
# 后台启动
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

5. 配置 config/server.properties

# 3 台机器分别 0 1 2
broker.id=0
listeners=PLAINTEXT://:9092
# 填本机IP
advertised.listeners=PLAINTEXT://172.16.20.154:9092
# 修改日志目录
log.dirs=/home/kafka/kafka-logs
# 修改存储时间,默认7天
log.retention.hours=24
# 修改  zookeeper 地址
zookeeper.connect=172.16.20.152:2181,172.16.20.153:2181,172.16.20.154:2181

6. 启动kafka

# 前台启动
bin/kafka-server-start.sh config/server.properties
# 后台启动
bin/kafka-server-start.sh -daemon config/server.properties

7. 测试kafka

# 连任意节点创建一个主题：quickstart-events
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server 172.16.20.152:9092
# 查看主题状态
bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server 172.16.20.152:9092
# 消费主题消息
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server 172.16.20.152:9092

# 从任意节点生产消息
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server 172.16.20.154:9092

8. 修改kafka内存使用上限

vim bin/kafka-server-start.sh
# 修改 -Xmx（最大堆内存）和 -Xms（初始堆内存)
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

# 重启
bin/kafka-server-stop.sh
bin/kafka-server-start.sh -daemon config/server.properties