kafka
Know Streaming
kafka 单机部署
kafka 集群搭建
Kafka 3.4.0 kraft 集群搭建
Kafka开启JMX监控
kafka 常用命令
kafka 日志保留多久
kafka基础概念
kafka分区数设置多少合适
kafka历史数据清理策略以及配置
如何删除kafka消费组
命令创建topic
docker-compose 部署 kafka 单机
kafka 查看消费
本文档使用 MrDoc 发布
-
+
首页
Kafka 3.4.0 kraft 集群搭建
### 下载 下载地址: https://downloads.apache.org/kafka/3.4.0/kafka_2.12-3.4.0.tgz ``` 在/opt目录下解压 tar -zxvf kafka_2.12-3.4.0.tgz ``` ### 安装 ``` 进入/opt/kafka_2.12-3.4.0/config/kraft目录 cd /opt/kafka_2.12-3.4.0/config/kraft ``` ``` 修改server.properties配置文件 process.roles=broker,controller # 节点ID,自己设置每个节点的值要不同 node.id=1 # Controller节点配置,用于管理状态的节点(替换Zookeeper作用) controller.quorum.voters=1@172.16.1.1:9093,2@172.16.1.2:9093,3@172.16.1.3:9093 listeners=PLAINTEXT://:9092,CONTROLLER://:9093 inter.broker.listener.name=PLAINTEXT # 使用IP端口,每个节点填写自己节点的IP advertised.listeners=PLAINTEXT://172.16.1.1:9092 controller.listener.names=CONTROLLER listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 # 数据存储位置 log.dirs=/opt/kafka/data ``` 三台服务器配置文件都需要修改,不同的地方为 ``` # 节点ID,自己设置每个节点的值要不同 node.id=1 # 使用IP端口,每个节点填写自己节点的IP advertised.listeners=PLAINTEXT://172.16.1.1:9092 ``` ### 初始化集群 在其中一台服务器上执行下面命令生成一个uuid ``` > sh bin/kafka-storage.sh random-uuid 2kBbskpoS0aYrSeJk-HVfw ``` 用该uuid格式化kafka存储目录,三台服务器都要执行以下命令 ``` sh bin/kafka-storage.sh format -t 2kBbskpoS0aYrSeJk-HVfw -c config/kraft/server.properties ``` ### 启动集群 三台都需要启动 ``` sh bin/kafka-server-start.sh -daemon config/kraft/server.properties ``` 在日志中可以查看到启动成功 ``` [2023-04-06 21:10:22,705] INFO [KafkaRaftServer nodeId=1] Kafka Server started (kafka.server.KafkaRaftServer) ``` 在进程中可以看到Kafka进程 ``` # jps 29128 Jps 28875 Kafka ``` ### 验证 创建Topic ``` # sh bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test --partitions 3 --replication-factor 3 Created topic test. ``` 查看Topic详情 ``` # sh bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe test Topic: test TopicId: LB20VbGWTvOi7IgVqTsC3g PartitionCount: 3 ReplicationFactor: 3 Configs: segment.bytes=1073741824 Topic: test Partition: 0 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3 Topic: test Partition: 1 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1 Topic: test Partition: 2 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2 ``` ### systemctl ``` cat > /usr/lib/systemd/system/kafka.service <<EOF [Unit] Description=kafka After=network.target kafka.service [Service] Type=forking User=root Group=root ExecStart=/data/kafka_2.13-3.4.0/bin/kafka-server-start.sh -daemon /data/kafka_2.13-3.4.0/config/kraft/server.properties ExecStop=/data/kafka_2.13-3.4.0/bin/kafka-server-stop.sh PrivateTmp=true [Install] WantedBy=multi-user.target EOF 202 systemctl daemon-reload 203 systemctl start kafka 204 systemctl enable kafka 205 systemctl status kafka ```
admin
2023年9月20日 20:38
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
分享
链接
类型
密码
更新密码