Windows下部署 Kafka(单机)

1、安装 JDK 并配置Java环境


2、安装ZooKeeper

        Kafka的运行依赖于ZooKeeper,所以在运行Kafka之前我们需要先安装并运行ZooKeeper。

        Kafka使用ZooKeeper作为其分布式协调框架,很好的将消息生产、消息存储、消息消费的过程结合在一起。同时借助ZooKeeper,Kafka能够生产者、消费者和broker在内的所以组件在无状态的情况下,建立起生产者和消费者的订阅关系,并实现生产者与消费者的负载均衡。

        可参考:Windows下部署 ZooKeeper(单机)


3、下载Kafka

官网:http://kafka.apache.org/downloads
可直接下载:kafka_2.12-2.5.0.zip
4、解压,修改 config 文件夹下的 server.properties 配置文件:
log.dirs=./kafka-logs
#kafka所连接的zookeeper所在的服务器IP及端口
zookeeper.connect=localhost:2181
注:Kafka默认端口:9092
5、cmd进入kafka目录,运行kafka:
.\bin\windows\kafka-server-start.bat .\config\server.properties
注:请确保启动kafka服务前,Zookeeper实例已经在运行,因为kafka的运行是需要zookeeper这种分布式应用程序协调服务。

我们可以选择独立部署Zookeeper,也可使用kafka内置的Zookeeper,使用方法:

a、修改 \config\zookeeper.properties 文件:
dataDir=./zookeeper/data
b、cmd进入kafka目录,运行Zookeeper:
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
6、创建topic(主题):
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看topic:
.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
7、创建Producer(生产者):
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

8、创建Consumer(消费者):
.\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic test
注:如果上述命令报错:zookeeper is not a recognized option,这是因为新版本删除直接绑定zk的命令,运行新命令,绑定kafka服务:
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test
#.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning