Kafka 单机（集群）安装部署（自带zookeeper）

背景：
kafka官网：http://kafka.apache.org/
kafka下载页面：http://kafka.apache.org/downloads
kafka配置快速入门：http://kafka.apache.org/quickstart
新版本的kafka自带有zookeeper，本篇文章记录使用自带zookeeper搭建kafka集群。

消息队列术语：

•Kafka将消息以topic为单位进行归纳。
•将向Kafka topic发布消息的程序成为producers.
•将预订topics并消费消息的程序成为consumer.
•Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.
producers通过网络将消息发送到Kafka集群，集群向消费者提供消息，如下图所示：

客户端和服务端通过TCP协议通信。Kafka提供了Java客户端，并且对多种语言都提供了支持。

3.1.0 稳定版本下载地址：

https://www.apache.org/dyn/closer.cgi?path=/kafka/3.1.0/kafka_2.13-3.1.0.tgz

1、操作命令：

cd /usr/local/

tar -zxvf kafka_2.11-2.0.0.tgz  //解压 tar 包

rm -rf LICENSE NOTICE site-docs  //删除 LICENSE、NOTICE 、site-docs

2、启动zookeeper

cd bin/

nohup ./zookeeper-server-start.sh ../config/zookeeper.properties  >>/var/tmp/kafka/zk.log 2>&1 &

jps               //查看启动成功

3、启动Kafka

nohup ./kafka-server-start.sh ../config/server.properties >>/var/tmp/kafka/kafka.log 2>&1 &

 4、停止Kafka 、zookeeper

./kafka-server-stop.sh   //先停kafka server

./zookeeper-server-stop.sh  //再停zookeeper

5、Kafka 使用

1）创建topic   pushu

./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic pushu

2) 查询topic 是否OK

./kafka-topics.sh --list --bootstrap-server localhost:9092

 3）生产者

 ./kafka-console-producer.sh --broker-list  localhost:9092  --topic pushu

4）消费者

./kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic pushu

 单机方式已验证OK，可以大胆的通过Python，Java，等Client方式对接使用。

6、集群方式

1）其他机器 安装Kafka

分别往192.168.10.66、192.168.10.88、192.168.10.99这三台虚拟机上安装kafka

2）配置server.properties

cd  /data/software/kafka_2.13-3.1.0/config

配置 broker.id 每个机器独立的ID

配置zookeeper集群端口

  3）集群配置完成，非常完美！