Kafka 集群部署:用三台服务器搭一套可用的消息队列

Kafka 集群部署的核心是让多台 broker 在 ZooKeeper 中注册成同一个集群,并让每个主题的副本分散到不同机器上。
下面以三台 Linux 服务器为例,搭建一套可用的 Kafka 集群,适用于测试环境或中小规模消息队列场景。

部署前先确认这几件事

三台机器需要能互相通信,并且时间同步。
Kafka 依赖 ZooKeeper 保存元数据,所以要么先装好独立 ZooKeeper 集群,要么使用 Kafka 自带脚本启动单机 ZooKeeper 仅用于测试。
生产环境建议单独部署 ZooKeeper 集群。

假设三台服务器 IP 为 192.168.1.11、192.168.1.12、192.168.1.13,主机名分别为 kafka1、kafka2、kafka3。
每台机器需要:

  • 安装 JDK 8 或更高版本,执行 java -version 能正常输出。
  • 关闭或放行防火墙端口:ZooKeeper 用 2181,Kafka 用 9092。
  • 配置主机名解析,确保三台机器能通过主机名互相 ping 通。
  • 下载 Kafka 二进制包,解压到统一目录,例如 /opt/kafka。

配置 ZooKeeper 集群

如果使用独立 ZooKeeper,每台机器编辑 /opt/zookeeper/conf/zoo.cfg,关键配置如下:

tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
initLimit=10
syncLimit=5
server.1=192.168.1.11:2888:3888
server.2=192.168.1.12:2888:3888
server.3=192.168.1.13:2888:3888

然后在每台机器的 dataDir 目录下创建 myid 文件,内容分别为 1、2、3,与 server.x 编号对应。
启动三台 ZooKeeper 后,用 echo stat | nc 127.0.0.1 2181 检查状态,确认有一台 leader、两台 follower。

如果只是快速验证 Kafka 集群,
也可以先用 Kafka 自带的 zookeeper-server-start.sh 在每台机器启动单机 ZooKeeper,
但这种方式不适合生产。

修改 Kafka broker 配置

进入 Kafka 配置目录,编辑 config/server.properties。
三台机器的配置只有 broker.id 和 listeners 中的 IP 不同,其余保持一致:

broker.id=1
listeners=PLAINTEXT://192.168.1.11:9092
advertised.listeners=PLAINTEXT://192.168.1.11:9092
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181
log.dirs=/var/lib/kafka-logs
num.partitions=3
default.replication.factor=3
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=2

broker.id 在三台机器上分别设为 1、2、3,
不能重复。listeners 和 advertised.listeners 要写本机实际 IP,
否则客户端可能连不上。zookeeper.connect 列出所有 ZooKeeper 节点,
用逗号分隔。

副本数相关参数建议显式设置:default.replication.factor=3 让新建主题默认三副本,offsets.topic.replication.factor=3 保证消费者位移主题也有足够副本。
如果集群节点数少于 3,这些值要相应调小,否则创建主题会失败。

启动集群并验证

在每台机器上执行启动命令:

/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

启动后检查日志 logs/server.log,看到 KafkaServer started 表示 broker 启动成功。
在三台机器都启动后,任选一台执行:

/opt/kafka/bin/kafka-broker-api-versions.sh --bootstrap-server 192.168.1.11:9092

能列出三个 broker 的版本信息,说明集群已连通。
接着创建一个测试主题:

/opt/kafka/bin/kafka-topics.sh --create --topic test-topic \
  --bootstrap-server 192.168.1.11:9092 \
  --partitions 3 --replication-factor 3

查看主题详情:

/opt/kafka/bin/kafka-topics.sh --describe --topic test-topic \
  --bootstrap-server 192.168.1.11:9092

输出中每个分区的 Leader 和 Replicas 应分布在不同 broker 上,Isr 包含三个副本,说明副本同步正常。
最后用控制台生产消费验证:

/opt/kafka/bin/kafka-console-producer.sh --topic test-topic \
  --bootstrap-server 192.168.1.11:9092

另开终端执行消费者:

/opt/kafka/bin/kafka-console-consumer.sh --topic test-topic \
  --bootstrap-server 192.168.1.11:9092 --from-beginning

生产者输入消息后,消费者能收到,说明集群基本可用。

几个容易踩的坑

  • broker.id 重复:三台机器必须不同,否则后启动的 broker 会注册失败。
  • 副本数大于 broker 数:三节点集群可以设 replication-factor=3,如果只有两台机器却设 3,创建主题会报错。
  • advertised.listeners 写错:客户端连接元数据后返回的地址如果不可达,会出现能连上却收不到消息的情况。
  • ZooKeeper 未全部启动:Kafka 启动时连不上 ZooKeeper 会直接退出,先确认 2181 端口可通。

部署完成后,建议定期检查 kafka-topics.sh --describe 中的 Isr 是否完整,以及磁盘空间是否充足。
Kafka 集群部署不是一次性工作,后续扩容和副本调整都需要在集群稳定运行的基础上进行。

分享到:
上一篇
Elasticsearch 搜索变慢怎么优化?从定位到调优的排查顺序
下一篇
Java 应用要什么配置?按业务规模给内存、CPU 和 JVM 参数
1
系统公告

关于香港云优质服务器IP地址更换的通知

尊敬的客户: 因原IP运营商大幅涨价,为避免成本转嫁至用户,我司决定更换IP服务商。本次更换后,您的续费价格将保持不变,且新IP网络质量与服务标准不受影响。新IP已分配至后台,即刻生效(更换的新IP都是香港原生IPv4)。 涉及 IP 段: 45.192.x.x 旧 IP 停用时间: 2026 年 12 月 1 日
服务中心
客服
在线客服
24小时为您服务
咨询
联系我们
联系我们,为您的业务提供专属服务。
24/7 技术支持
如果您遇到寻求进一步的帮助,请过工单与我们进行联系。
24/7 即时支持
泽御云
售前客服
泽御云
泽御云
售后客服
泽御云
技术支持
评价
您对当前页面的整体感受是否满意?
😞
非常不满意
😕
不满意
😐
一般
🙂
满意
😊
非常满意