做网站确定什么主题好,设计图案大全图片,一线视频免费观看,甘肃省临夏州建设局网站集群规划 准备工作
安装
安装包下载#xff1a;链接#xff1a;https://pan.baidu.com/s/1BtSiaf1ptLKdJiA36CyxJg?pwd6666
Kafka安装与配置
1、上传并解压安装包
tar -zxvf kafka_2.12-3.3.1.tgz -C /opt/moudle/2、修改解压后的文件名称
mv kafka_2.12-3.3.1/ kafka…集群规划 准备工作
安装
安装包下载链接https://pan.baidu.com/s/1BtSiaf1ptLKdJiA36CyxJg?pwd6666
Kafka安装与配置
1、上传并解压安装包
tar -zxvf kafka_2.12-3.3.1.tgz -C /opt/moudle/2、修改解压后的文件名称
mv kafka_2.12-3.3.1/ kafka 3、进入到/opt/module/kafka目录修改配置文件
cd /opt/moudle/kafka/config/vim server.properties
输入以下内容
#broker的全局唯一编号不能重复只能是数字。
broker.id0#broker对外暴露的IP和端口 每个节点单独配置
advertised.listenersPLAINTEXT://hadoop102:9092
#处理网络请求的线程数量
num.network.threads3
#用来处理磁盘IO的线程数量
num.io.threads8
#发送套接字的缓冲区大小
socket.send.buffer.bytes102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes102400
#请求套接字的缓冲区大小
socket.request.max.bytes104857600
#kafka运行日志(数据)存放的路径路径不需要提前创建kafka自动帮你创建可以配置多个磁盘路径路径与路径之间可以用分隔
log.dirs/opt/moudle/kafka/datas
#topic在当前broker上的分区个数
num.partitions1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir1
# 每个topic创建时的副本数默认时1个副本
offsets.topic.replication.factor1
#segment文件保留的最长时间超时将被删除
log.retention.hours168
#每个segment文件的大小默认最大1G
log.segment.bytes1073741824
# 检查过期数据的时间默认5分钟检查一次是否数据过期
log.retention.check.interval.ms300000
#配置连接Zookeeper集群地址在zk根目录下创建/kafka方便管理
zookeeper.connecthadoop102:2181,hadoop103:2181,hadoop104:2181/kafka4、分发安装包
xsync kafka/
5、分别在hadoop103和hadoop104上修改配置文件
/opt/module/kafka/config/server.properties中的broker.id及advertised.listeners 注broker.id不得重复整个集群中唯一。 [roothadoop103 module]$ vim kafka/config/server.properties 修改: # The id of the broker. This must be set to a unique integer for each broker. broker.id1 #broker对外暴露的IP和端口 每个节点单独配置 advertised.listenersPLAINTEXT://hadoop103:9092 [roothadoop104 module]$ vim kafka/config/server.properties 修改: # The id of the broker. This must be set to a unique integer for each broker. broker.id2 #broker对外暴露的IP和端口 每个节点单独配置 advertised.listenersPLAINTEXT://hadoop104:9092 6、配置环境变量
1在/etc/profile.d/my_env.sh文件中增加kafka环境变量配置
vim /etc/profile.d/my_env.sh
增加如下内容
#KAFKA_HOME
export KAFKA_HOME/opt/moudle/kafka
export PATH$PATH:$KAFKA_HOME/bin2刷新一下环境变量。
source /etc/profile
3分发环境变量文件到其他节点并source。 [roothadoop102 moudle]$ sudo /home/user/bin/xsync /etc/profile.d/my_env.sh [roothadoop103 moudle]$ source /etc/profile [roothadoop104 moudle]$ source /etc/profile 7、启动集群
1先启动Zookeeper集群然后启动Kafka。
在Hadoop102上执行
zk.sh start
2依次在hadoop102、hadoop103、hadoop104节点上启动Kafka。
进入/opt/moudle/kafka
bin/kafka-server-start.sh -daemon config/server.properties
注意配置文件的路径要能够到server.properties。 3查看进程
xcall jps
8、关闭集群
1依次在hadoop102、hadoop103、hadoop104节点上停止Kafka。
/opt/moudle/kafka
bin/kafka-server-stop.sh
2查看进程
xcall jps
集群启停脚本
1在/home/user/bin目录下创建文件kf.sh脚本文件
cd /home/user/binvim kf.sh
脚本如下
#! /bin/bashcase $1 in
start){for i in hadoop102 hadoop103 hadoop104doecho --------启动 $i Kafka-------ssh $i /opt/moudle/kafka/bin/kafka-server-start.sh -daemon /opt/moudle/kafka/config/server.propertiesdone
};;
stop){for i in hadoop102 hadoop103 hadoop104doecho --------停止 $i Kafka-------ssh $i /opt/moudle/kafka/bin/kafka-server-stop.sh done
};;
esac2添加执行权限
chmod x kf.sh
3启动集群命令
kf.sh start
4停止集群命令
kf.sh stop
注意停止Kafka集群时一定要等Kafka所有节点进程全部停止后再停止Zookeeper集群。因为Zookeeper集群当中记录着Kafka集群相关信息Zookeeper集群一旦先停止Kafka集群就没有办法再获取停止进程的信息只能手动杀死Kafka进程了。
