Kafka集群部署

# 一. 安装包列表
安装包列表如下，安装前保证防火墙关闭、selinux被禁用、JDK1.8以上被成功安装。
```
kafka_2.11-2.3.0.tgz
zookeeper-3.4.10.tar.gz
```

# 二. 安装zookeeper

- 在node1、node2、node3上分别做如下操作，三台配置文件完全相同。
```
$ 配置HOSTS
cat /etc/hosts
192.168.80.129 node1
192.168.80.130 node2
192.168.80.131 node3

$ 解压创建目录
tar -zxf zookeeper-3.4.10.tar.gz
mv zookeeper-3.4.10 /opt/zookeeper
mkdir /opt/zookeeper/data

$ 编辑zookeeper主配置文件
vim /opt/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/logs
clientPort=2181
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

$ 编辑配置日志目录和日志滚动
vim /opt/zookeeper/conf/log4j.properties
zookeeper.root.logger=INFO, ROLLINGFILE
zookeeper.log.dir=/opt/zookeeper/logs
log4j.appender.ROLLINGFILE.MaxBackupIndex=10

$ 编辑配置日志目录和日志滚动
vim /opt/zookeeper/bin/zkEnv.sh 
if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    ZOO_LOG_DIR="${ZOOKEEPER_PREFIX}/logs"
fi
if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi

$ 配置全局路径
vim /etc/profile
export ZOOKEEPER_HOME=/opt/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin/

$ 立即生效
source /etc/profile

```

- 在node1上创建id文件
```
echo 1 > /opt/zookeeper/data/myid
```

- 在node2上创建id文件
```
echo 2 > /opt/zookeeper/data/myid
```

- 在node3上创建id文件
```
echo 3 > /opt/zookeeper/data/myid
```

在三个节点启动zookeeper，启动以后需要小等几十秒的时间，等待zookeeper集群协商选举leader。
```
zkServer.sh start
zkServer.sh status
```

# 三. 安装kafka
- 在node1上
```
tar -zxf kafka_2.11-2.3.0.tgz
mv kafka_2.11-2.3.0 /opt/kafka
vim /opt/kafka/config/server.properties 
broker.id=1
listeners=PLAINTEXT://:9092
log.dirs=/opt/kafka/kafka-logs
zookeeper.connect=node1:2181,node2:2181,node3:2181
```

- 在node2上
```
tar -zxf kafka_2.11-2.3.0.tgz
mv kafka_2.11-2.3.0 /opt/kafka
vim /opt/kafka/config/server.properties 
broker.id=2
listeners=PLAINTEXT://:9092
log.dirs=/opt/kafka/kafka-logs
zookeeper.connect=node1:2181,node2:2181,node3:2181
```

- 在node3上
```
tar -zxf kafka_2.11-2.3.0.tgz
mv kafka_2.11-2.3.0 /opt/kafka
vim /opt/kafka/config/server.properties 
broker.id=3
listeners=PLAINTEXT://:9092
log.dirs=/opt/kafka/kafka-logs
zookeeper.connect=node1:2181,node2:2181,node3:2181
```

- 分别在三个节点启动kafka
```
$ 前台启动，后续可以使用supervisor来管理，supervisor可以将异常退出的程序自动拉起。
/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties

```

# 四. 验证集群功能
```
$ 重新打开一个终端，进入kafka安装目录
cd /opt/kafka

$ 创建话题
./bin/kafka-topics.sh --zookeeper node1:2181,node2:2181,node3:2181 --create --replication-factor 3 --partitions 3 --topic test

$ 查看列表
./bin/kafka-topics.sh --zookeeper node1:2181,node2:2181,node3:2181 --list

$ 查看话题消息
./bin/kafka-topics.sh --zookeeper node1:2181,node2:2181,node3:2181 --describe
Topic:test      PartitionCount:3        ReplicationFactor:3     Configs:
        Topic: test     Partition: 0    Leader: 3       Replicas: 3,1,2 Isr: 3,1,2
        Topic: test     Partition: 1    Leader: 1       Replicas: 1,2,3 Isr: 1,2,3
        Topic: test     Partition: 2    Leader: 2       Replicas: 2,3,1 Isr: 2,3,1

```

余子越的博客

最近发表

友情链接