Kafka: 下载安装和启动

Step 1: 下载Kafka

到官网下载后缀名为.tgz的文件,kafka_2.13-2.5.0.tgz,tgz是压缩文件,Windows需解压两次。

Step 2: Start Zookeeper service

启动kafka前需要先启动Zookeeper,CMD到kafka文件路径下

• cd {KAFAK_HOME}

# start zookeeper service (port: 2181)
binwindowszookeeper-server-start.bat configzookeeper.properties

Step 3: Start Kafka service

 再开另一个CMD窗口

• cd {KAFAK_HOME}

# start kafka broker serivce (port: 9092)
binwindowskafka-server-start.bat configserver.properties

Step 3: Create a Topic

 再开另一个CMD窗口,创建一个只有1个partition(分区)和1个replication-factor(备份),叫做test的topic

• cd {KAFAK_HOME}

# create a new kafka topic "test"
binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

 

 创建好之后,可以通过运行以下命令,查看已创建的topic信息:

# list out all kafka topic
binwindowskafka-topics.bat --list --zookeeper localhost:2181

 还可以用describe 命令查看更详细的topic信息

# describe specific kafka topic "test"
binwindowskafka-topics.bat --describe --zookeeper localhost:2181 --topic test

Step 4: 发送消息和消费消息

使用控制台producer 将数据发布到主题,同时打开两个命令窗口,一个运行生产者,一个运行消费者,这样就可以实时观察到发送和消费的动作。

发送消息:

# publish data to specific kafka topic "test"
binwindowskafka-console-producer.bat --broker-list localhost:9092 --topic test

 

 消费消息:

# subscribe specific kafka topic "test"
binwindowskafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

还可以发送带有Key的value到topic

发送消息:

# publish data with key & value to specific kafka topic "test"
binwindowskafka-console-producer.bat --broker-list localhost:9092 ^
--topic test ^
--property "parse.key=true" ^
--property "key.separator=:"

 消费消息:

# subscribe specific kafka topic "test" with key & value displayed
binwindowskafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning --property print.key=true --property key.separator=":"

 有key的显示key值,之前发送没有key的显示nul

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注