做企业宣传网站公司,可以做猫头像的网站,建设银行 杭州招聘网站,南京市公共资源建设中心网站Centos7搭建Kafka集群 一、集群规划二、环境准备三、安装kafka集群1、下载kafka安装包2、解压3、配置环境变量4、编辑配置文件①修改broker.id②配置kafka运行日志路径③配置Zookeeper集群地址 5、启动集群6、测试kafka①、创建topic②、查看当前服务器中的所有topic③、生产者… Centos7搭建Kafka集群 一、集群规划二、环境准备三、安装kafka集群1、下载kafka安装包2、解压3、配置环境变量4、编辑配置文件①修改broker.id②配置kafka运行日志路径③配置Zookeeper集群地址 5、启动集群6、测试kafka①、创建topic②、查看当前服务器中的所有topic③、生产者与消费者 一、集群规划
192.168.239.140192.168.239.141192.168.239.142zookeeperzookeeperzookeeperkafkakafkakafka
二、环境准备
请自行安装JDK与Zookeeper集群 Zookeeper集群安装参考
三、安装kafka集群
1、下载kafka安装包
通过此地址下载kafka
kafka_2.13-3.6.1.tgz2、解压
tar -zxvf kafka_2.13-3.6.1.tgz3、配置环境变量
vim /etc/profile.d/my_env.sh在“my_env.sh”文件中添加如下内容
#KAFKA_HOME路径按需修改
export KAFKA_HOME/wz_program/kafka/kafka_2.13-3.6.1
export PATH$PATH:$KAFKA_HOME/bin文件编辑完后执行如下命令
source /etc/profile4、编辑配置文件
进入“config”目录下修改server.properties文件
vim server.properties①修改broker.id
特别注意broker.id在整个集群中全局唯一不能重复只能是数字
broker.id②配置kafka运行日志路径
kafka运行日志(数据)存放的路径路径不需要手动创建kafka会自动创建。可以配置多个磁盘路径路径与路径之间可以用,分隔。
log.dirs③配置Zookeeper集群地址
zookeeper.connect5、启动集群
启动kafka集群前需要保证zookeeper集群已启动 进入kafka的bin目录下执行如下命令
./kafka-server-start.sh -daemon ../config/server.properties关闭集群可使用如下命令
./kafka-server-stop.sh特别注意停止Kafka集群时一定要等Kafka所有节点进程全部停止后再停止Zookeeper集群。因为Zookeeper集群当中记录着Kafka集群相关信息Zookeeper集群一旦先停止Kafka集群就没有办法再获取停止进程的信息只能手动杀死Kafka进程了。
6、测试kafka
①、创建topic
kafka-topics.sh --bootstrap-server hadoop001:9092 --create --partitions 1 --replication-factor 3 --topic test_first②、查看当前服务器中的所有topic
kafka-topics.sh --bootstrap-server hadoop001:9092 --list③、生产者与消费者
生产者
kafka-console-producer.sh --bootstrap-server hadoop001:9092 --topic test_first消费者
kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic test_first
