Kafka 集群部署:用三台服务器搭一套可用的消息队列
Kafka 集群部署的核心是让多台 broker 在 ZooKeeper 中注册成同一个集群,并让每个主题的副本分散到不同机器上。
下面以三台 Linux 服务器为例,搭建一套可用的 Kafka 集群,适用于测试环境或中小规模消息队列场景。
部署前先确认这几件事
三台机器需要能互相通信,并且时间同步。
Kafka 依赖 ZooKeeper 保存元数据,所以要么先装好独立 ZooKeeper 集群,要么使用 Kafka 自带脚本启动单机 ZooKeeper 仅用于测试。
生产环境建议单独部署 ZooKeeper 集群。
假设三台服务器 IP 为 192.168.1.11、192.168.1.12、192.168.1.13,主机名分别为 kafka1、kafka2、kafka3。
每台机器需要:
- 安装 JDK 8 或更高版本,执行
java -version能正常输出。 - 关闭或放行防火墙端口:ZooKeeper 用
2181,Kafka 用9092。 - 配置主机名解析,确保三台机器能通过主机名互相 ping 通。
- 下载 Kafka 二进制包,解压到统一目录,例如
/opt/kafka。
配置 ZooKeeper 集群
如果使用独立 ZooKeeper,每台机器编辑 /opt/zookeeper/conf/zoo.cfg,关键配置如下:
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
initLimit=10
syncLimit=5
server.1=192.168.1.11:2888:3888
server.2=192.168.1.12:2888:3888
server.3=192.168.1.13:2888:3888
然后在每台机器的 dataDir 目录下创建 myid 文件,内容分别为 1、2、3,与 server.x 编号对应。
启动三台 ZooKeeper 后,用 echo stat | nc 127.0.0.1 2181 检查状态,确认有一台 leader、两台 follower。
如果只是快速验证 Kafka 集群,
也可以先用 Kafka 自带的 zookeeper-server-start.sh 在每台机器启动单机 ZooKeeper,
但这种方式不适合生产。
修改 Kafka broker 配置
进入 Kafka 配置目录,编辑 config/server.properties。
三台机器的配置只有 broker.id 和 listeners 中的 IP 不同,其余保持一致:
broker.id=1
listeners=PLAINTEXT://192.168.1.11:9092
advertised.listeners=PLAINTEXT://192.168.1.11:9092
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181
log.dirs=/var/lib/kafka-logs
num.partitions=3
default.replication.factor=3
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=2
broker.id 在三台机器上分别设为 1、2、3,
不能重复。listeners 和 advertised.listeners 要写本机实际 IP,
否则客户端可能连不上。zookeeper.connect 列出所有 ZooKeeper 节点,
用逗号分隔。
副本数相关参数建议显式设置:default.replication.factor=3 让新建主题默认三副本,offsets.topic.replication.factor=3 保证消费者位移主题也有足够副本。
如果集群节点数少于 3,这些值要相应调小,否则创建主题会失败。
启动集群并验证
在每台机器上执行启动命令:
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties
启动后检查日志 logs/server.log,看到 KafkaServer started 表示 broker 启动成功。
在三台机器都启动后,任选一台执行:
/opt/kafka/bin/kafka-broker-api-versions.sh --bootstrap-server 192.168.1.11:9092
能列出三个 broker 的版本信息,说明集群已连通。
接着创建一个测试主题:
/opt/kafka/bin/kafka-topics.sh --create --topic test-topic \
--bootstrap-server 192.168.1.11:9092 \
--partitions 3 --replication-factor 3
查看主题详情:
/opt/kafka/bin/kafka-topics.sh --describe --topic test-topic \
--bootstrap-server 192.168.1.11:9092
输出中每个分区的 Leader 和 Replicas 应分布在不同 broker 上,Isr 包含三个副本,说明副本同步正常。
最后用控制台生产消费验证:
/opt/kafka/bin/kafka-console-producer.sh --topic test-topic \
--bootstrap-server 192.168.1.11:9092
另开终端执行消费者:
/opt/kafka/bin/kafka-console-consumer.sh --topic test-topic \
--bootstrap-server 192.168.1.11:9092 --from-beginning
生产者输入消息后,消费者能收到,说明集群基本可用。
几个容易踩的坑
- broker.id 重复:三台机器必须不同,否则后启动的 broker 会注册失败。
- 副本数大于 broker 数:三节点集群可以设
replication-factor=3,如果只有两台机器却设 3,创建主题会报错。 - advertised.listeners 写错:客户端连接元数据后返回的地址如果不可达,会出现能连上却收不到消息的情况。
- ZooKeeper 未全部启动:Kafka 启动时连不上 ZooKeeper 会直接退出,先确认
2181端口可通。
部署完成后,建议定期检查 kafka-topics.sh --describe 中的 Isr 是否完整,以及磁盘空间是否充足。
Kafka 集群部署不是一次性工作,后续扩容和副本调整都需要在集群稳定运行的基础上进行。