单机部署kafka机器

• 下载配置
  • 下载
  • 配置
• 初始化及部署
  • 初始化随机标记,格式化存储目录
  • 启动集群
• 测试
  • 创建topic
  • 发送
  • 消费
• 参考命令

下载配置#

下载#

https://kafka.apache.org/downloads

这里用kraft等最新版本的, 如3.4+ 的 kafka_2.12-3.5.0.tgz

配置#

config/kraft/server.properties

############################# Log Basics #############################

# A comma separated list of directories under which to store log files
# 数据存放目录
log.dirs=/path/to/kraft_log

初始化及部署#

初始化随机标记,格式化存储目录#

# 生产一个唯一的随机秘钥
./kafka-storage.sh random-uuid
Z6PIcqq3S-ag0pULLNfkXQ



# 随机秘钥初始化目录
./kafka-storage.sh format -t Z6PIcqq3S-ag0pULLNfkXQ -c ../config/kraft/server.properties
Formatting /path/to/kraft_log with metadata.version 3.5-IV2.

# 会在配置的log目录里面初始化一个meta.properties 文件
cat ../../log_storage/meta.properties 
#
#Mon Jul 03 14:44:50 CST 2023
cluster.id=Z6PIcqq3S-ag0pULLNfkXQ
version=1
node.id=1

启动集群#

bash /path/to/kafka_2.12-3.5.0/bin/kafka-server-start.sh                  /path/to/kafka_2.12-3.5.0/config/kraft/server.properties 

测试#

创建topic#

./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic testtopic1

发送#

./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic testtopic1 --producer.config ../config/producer.properties



> {"name":"sam", "age":28, "city":"beijing"}
> {"name":"tom", "age":33, "city":"beijing"}
>{"name":"jim", "age":25, "city":"shanghai"}

消费#

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testtopic1 --from-beginning

参考命令#

【kafka运维】Kafka全网最全最详细运维命令合集 https://zhuanlan.zhihu.com/p/571617531