济南建设集团网站,微信文章转wordpress,公司网页需要哪些内容,app开发公司被骗报警相关文章
【数仓】基本概念、知识普及、核心技术【数仓】数据分层概念以及相关逻辑【数仓】Hadoop软件安装及使用#xff08;集群配置#xff09;【数仓】Hadoop集群配置常用参数说明
一、环境准备
准备3台虚拟机
Hadoop131#xff1a;192.168.56.131Hadoop132#xff…相关文章
【数仓】基本概念、知识普及、核心技术【数仓】数据分层概念以及相关逻辑【数仓】Hadoop软件安装及使用集群配置【数仓】Hadoop集群配置常用参数说明
一、环境准备
准备3台虚拟机
Hadoop131192.168.56.131Hadoop132192.168.56.132Hadoop133192.168.56.133
本例系统版本 CentOS-7.8已安装jdk1.8
关闭防火墙
systemctl stop firewalld二、zookeeper安装配置
1、zookeeper下载安装
1 下载解压
# 下载
wget --no-check-certificate https://dlcdn.apache.org/zookeeper/zookeeper-3.9.1/apache-zookeeper-3.9.1-bin.tar.gz
# 解压安装
tar -xzvf apache-zookeeper-3.9.1-bin.tar.gzmv apache-zookeeper-3.9.1-bin/ /data/zookeeper/
#查看zookeeper是否部署成功
ls -l /data/zookeeper/2配置服务器编号
创建数据存储目录 zkdata
mkdir /data/zookeeper/zkdata在zkdata 目录创建文件 myid在文件中添加与server对应的编号
1313配置zoo.cfg文件
zookeeper/conf目录下有zoo_sample.cfg实例配置文件复制这个文件重命名为zoo.cfg开始配置zoo.cfg的内容
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg修改数据存储路径
dataDir/data/zookeeper/zkdata增加如下集群配置
############### cluster ###############
server.131hadoop131:2888:3888
server.132hadoop132:2888:3888
server.133hadoop133:2888:3888集群服务配置说明
server.AB:C:D
A 是一个数字,表示这个是第几号服务器
B 是这个服务器的IP地址或者是与IP地址做了映射的主机名
C 第一个端口用来集群成员的信息交换,表示这个服务器与集群中的Leader服务器交换信息的端口
D 是在leader挂掉时专门用来进行选举leader所用的端口。2、同步zookeeper到其他服务器
1同步zookeeper到其他两台服务器 hadoop132、hadoop133
xsync.sh /data/zookeeper/2分别修改 hadoop132、hadoop133 上面的 myid 为 132、133
3、集群操作
方式一分别在各个服务器操作
1分别启动zookeeper
/data/zookeeper/bin/zkServer.sh startZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED2查看状态
/data/zookeeper/bin/zkServer.sh statusZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower方式二增加集群操作脚本 zk.sh
1创建文件zk.sh
vi /usr/bin/zk.sh
# 修改文件权限
chmod 777 /usr/bin/zk.sh2复制如下内容
#!/bin/bash#1. 判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
ficase $1 in
start)#遍历集群所有机器for host in hadoop131 hadoop132 hadoop133doecho -------------------- $host zookeeper 启动 --------------------ssh $host /data/zookeeper/bin/zkServer.sh startdone
;;
stop)#遍历集群所有机器for host in hadoop131 hadoop132 hadoop133doecho -------------------- $host zookeeper 停止 --------------------ssh $host /data/zookeeper/bin/zkServer.sh stopdone
;;
status)#遍历集群所有机器for host in hadoop131 hadoop132 hadoop133doecho -------------------- $host zookeeper 状态 --------------------ssh $host /data/zookeeper/bin/zkServer.sh statusdone
;;
*)echo Input Args Error...
;;
esac3通过集群脚本 zk.sh 操作
zk.sh start-------------------- hadoop131 zookeeper 启动 --------------------
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
-------------------- hadoop132 zookeeper 启动 --------------------
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
-------------------- hadoop133 zookeeper 启动 --------------------
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED三、ZooKeeper常见配置参数
ZooKeeper的配置参数主要包括以下几项 tickTimeZooKeeper中的一个时间单元用于服务器之间或客户端与服务器之间维持心跳。它是以毫秒为单位的并且ZooKeeper中所有的时间都是以这个为基础进行整数倍的配置。例如session的最小超时时间是2倍的tickTime。 dataDir存储快照的目录。这也是ZooKeeper服务器用来存储事务日志的默认位置如果没有特别配置dataLogDir的话。考虑到事务日志的写入性能会直接影响到ZooKeeper的整体性能因此建议将事务日志存储在一个专门的、拥有良好I/O性能的磁盘上。 dataLogDir这个参数用于配置事务日志的存储目录。如果配置了这个参数那么事务日志就会被存储在这个指定的目录中而不是在dataDir中。这有助于优化磁盘I/O性能。 clientPort这是客户端连接ZooKeeper服务器的端口。一般来说这个端口被设置为2181。 initLimit这是ZooKeeper集群中的Follower服务器与Leader服务器之间初始连接时能容忍的最多心跳数以tickTime为单位。这个参数用于控制ZooKeeper集群的初始化过程。 syncLimit这是ZooKeeper集群中的Follower服务器与Leader服务器之间请求和应答之间能容忍的最多心跳数以tickTime为单位。这个参数用于控制Follower和Leader之间的同步过程。 maxClientCnxns这是一个客户端连接到单个ZooKeeper服务器的最大连接数限制。这个参数可以防止ZooKeeper服务器因为过多的客户端连接而耗尽资源。
这些参数都可以在ZooKeeper的配置文件zoo.cfg中进行设置。在配置ZooKeeper集群时还需要设置一些其他的参数如server.x配置项用于指定ZooKeeper集群中的服务器地址和端口等信息。
参考
https://zookeeper.apache.org/doc/current/index.html
