凤岗做网站,什么是网络营销报价,软文写作500字,wordpress 删除图片1、HA概述 实现高可用最关键的策略是消除单点故障。HA分成各个组件的HA机制#xff1a;HDFS的HA和YARN的HA。 Hadoop2.0之前#xff0c;在HDFS集群中NameNode存在单点故障#xff08;SPOF#xff09;。
NameNode主要在以下两个方面影响HDFS集群#xff1a; #xff…1、HA概述 实现高可用最关键的策略是消除单点故障。HA分成各个组件的HA机制HDFS的HA和YARN的HA。 Hadoop2.0之前在HDFS集群中NameNode存在单点故障SPOF。
NameNode主要在以下两个方面影响HDFS集群 1NameNode机器发生意外如宕机集群将无法使用直到管理员重启。 2NameNode机器需要升级包括软件、硬件升级此时集群也将无法使用。 HDFS HA功能通过配置Active/Standby两个NameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障如机器崩溃或机器需要升级维护这时可通过此种方式将NameNode很快的切换到另外一台机器。
2、HDFS-HA
2.1 HDFS-HA工作机制
通过双或多NameNode消除单点故障。 1元数据存储方式内存中保存一份元数据日志文件只有Active状态的NameNode节点才能进行写操作多个NameNode都可以对日志文件进行读操作共享的日志文件放在一个共享存储中管理。 2需要一个状态管理功能模块实现一个zkfailover常驻在每一个NameNode所在的节点每一个zkfailover负责监控自己所在NameNode节点利用zk进行状态标识当需要进行状态切换时由zkfailover来负责切换切换时需要防止brain split脑裂现象的发生。 3必须保证多个NameNode之间能够ssh无密码登录 4隔离Fence即同一时刻仅仅有一个NameNode对外提供服务
2.2 HDFS-HA自动故障转移机制 自动故障转移为HDFS部署增加了两个新组件ZooKeeper和ZKFailoverControllerZKFC进程。ZooKeeper是维护少量协调数据通知客户端这些数据的改变和监视客户端故障的高可用服务。
HA的自动故障转移依赖于ZooKeeper的以下功能 1故障检测集群中的每个NameNode在ZooKeeper中维护了一个持久会话如果机器崩溃ZooKeeper中的会话将终止ZooKeeper通知另一个NameNode需要触发故障转移。 2现役NameNode选择ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode。 ZKFC是自动故障转移中的另一个新组件是ZooKeeper的客户端也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程。
ZKFC负责 1健康监测ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode只要该NameNode及时地回复健康状态ZKFC认为该节点是健康的。如果该节点崩溃冻结或进入不健康状态健康监测器标识该节点为非健康的。 2ZooKeeper会话管理当本地NameNode是健康的ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态ZKFC也保持一个特殊的znode锁该锁使用了ZooKeeper对短暂节点的支持如果会话终止锁节点将自动删除。 3基于ZooKeeper的选择如果本地NameNode是健康的且ZKFC发现没有其它的节点当前持有znode锁它将为自己获取该锁。如果成功则它已经赢得了选择并负责运行故障转移进程以使它的本地NameNode为Active。首先如果必要保护之前的现役NameNode然后本地NameNode转换为Active状态。
2.3 HDFS-HA集群配置
2.3.1 集群规划 2.3.2 配置Zookeeper集群
1解压安装
//解压zookeeper安装包到/opt/module/目录下
tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module///在/opt/module/zookeeper-3.5.7/目录下创建zkData
mkdir -p zkData//重命名/opt/module/zookeeper-3.5.7/conf目录下的zoo_sample.cfg为zoo.cfg
mv zoo_sample.cfg zoo.cfg2配置zoo.cfg文件
vim zoo.cfg#更改以下
dataDir/opt/module/zookeeper-3.5.7/zkData#添加以下
#######################cluster##########################
server.2hadoop102:2888:3888
server.3hadoop103:2888:3888
server.4hadoop104:2888:3888配置参数解读Server.AB:C:D。 A是一个数字表示这个是第几号服务器 B是这个服务器的IP地址 C是这个服务器与集群中的Leader服务器交换信息的端口 D是万一集群中的Leader服务器挂了需要一个端口来重新进行选举选出一个新的Leader而这个端口就是用来执行选举时服务器相互通信的端口。 集群模式下配置一个文件myid这个文件在zkData目录下这个文件里面有一个数据就是A的值Zookeeper启动时读取此文件拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
//在/opt/module/zookeeper-3.5.7/zkData下创建一个文件myid,并编辑
vim myid#在hadoop102添加以下
23集群操作
//分发zookeeper到其他机器上
xsync zookeeper-3.5.7//分别在hadoop103、hadoop104的myid文件中修改2为3、4//在/home/用户名/bin中新建一个文件zk.sh并编辑
vim zk.sh
#添加以下内容#!/bin/bash
case $1 in
start){
for i in hadoop102 hadoop103 hadoop104
doecho ---------- zookeeper $i 启动 ------------
ssh $i /opt/module/zookeeper-3.5.7/bin/zkServer.sh start
done
};;
stop){
for i in hadoop102 hadoop103 hadoop104
doecho ---------- zookeeper $i 停止 ------------
ssh $i /opt/module/zookeeper-3.5.7/bin/zkServer.sh stop
done
};;
status){
for i in hadoop102 hadoop103 hadoop104
doecho ---------- zookeeper $i 状态 ------------
ssh $i /opt/module/zookeeper-3.5.7/bin/zkServer.sh status
done
};;
esac//赋予脚本权限
chmod 777 zk.sh//启动zookeeper
zk.sh start//查看状态
zk.sh status//关闭zookeeper
zk.sh stop2.3.3 配置HDFS-HA集群
在/opt/下新建文件夹ha将/opt/module/下的hadoop-3.3.1拷贝到/opt/ha/下
cd /opt
mkdir ha
cp -r hadoop-3.3.1/ /opt/ha/配置core-site.xml删掉之前的配置添加以下 !-- 把两个NameNode的地址组装成一个集群mycluster --propertynamefs.defaultFS/namevaluehdfs://mycluster/value/property!-- 指定hadoop运行时产生文件的存储目录 --propertynamehadoop.tmp.dir/namevalue/opt/ha/hadoop-3.3.1/data/value/property!-- 指定zkfc要连接的zkServer地址 --propertynameha.zookeeper.quorum/namevaluehadoop102:2181,hadoop103:2181,hadoop104:2181/value/property
配置hdfs-site.xml删掉之前的配置添加以下 !-- NameNode数据存储目录 --propertynamedfs.namenode.name.dir/namevaluefile://${hadoop.tmp.dir}/name/value/property!-- DataNode数据存储目录 --propertynamedfs.datanode.data.dir/namevaluefile://${hadoop.tmp.dir}/data/value/property!-- JournalNode数据存储目录 --propertynamedfs.journalnode.edits.dir/namevalue${hadoop.tmp.dir}/jn/value/property!-- 完全分布式集群名称 --propertynamedfs.nameservices/namevaluemycluster/value/property!-- 集群中NameNode节点都有哪些 --propertynamedfs.ha.namenodes.mycluster/namevaluenn1,nn2,nn3/value/property!-- nn1的RPC通信地址 --propertynamedfs.namenode.rpc-address.mycluster.nn1/namevaluehadoop102:8020/value/property!-- nn2的RPC通信地址 --propertynamedfs.namenode.rpc-address.mycluster.nn2/namevaluehadoop103:8020/value/property!-- nn3的RPC通信地址 --propertynamedfs.namenode.rpc-address.mycluster.nn3/namevaluehadoop104:8020/value/property!-- nn1的http通信地址 --propertynamedfs.namenode.http-address.mycluster.nn1/namevaluehadoop102:9870/value/property!-- nn2的http通信地址 --propertynamedfs.namenode.http-address.mycluster.nn2/namevaluehadoop103:9870/value/property!-- nn3的http通信地址 --propertynamedfs.namenode.http-address.mycluster.nn3/namevaluehadoop104:9870/value/property!-- 指定NameNode元数据在JournalNode上的存放位置 --propertynamedfs.namenode.shared.edits.dir/namevalueqjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster/value/property!-- 配置隔离机制即同一时刻只能有一台服务器对外响应 --propertynamedfs.ha.fencing.methods/namevaluesshfence/value/property!-- 使用隔离机制时需要ssh无秘钥登录--propertynamedfs.ha.fencing.ssh.private-key-files/namevalue/home/liaoyanxia/.ssh/id_rsa/value/property!-- 访问代理类clientmyclusteractive配置失败自动切换实现方式--propertynamedfs.client.failover.proxy.provider.mycluster/namevalueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value/property!-- 启动nn故障自动转移 --propertynamedfs.ha.automatic-failover.enabled/namevaluetrue/value/property分配两个文件到其他节点
xsync core-site.xml hdfs-site.xml在每个节点的/etc/profilr.d下的my_env.sh文件中修改HADOOP_HOME /opt/module/hadoop-3.3.1改为/opt/ha/hadoop-3.3.1 然后source一下让环境变量生效
source my_env.sh启动HDFS-HA集群
//在各个JournalNode节点上输入以下命令启动journalnode服务
hdfs --daemon start journalnode//在nn1上进行格式化并启动
hdfs namenode -format
hdfs --daemon start namenode//在nn2、nn3上同步nn1的元数据信息
hdfs namenode -boostrapStandby//启动nn2和nn3
hdfs --daemon start namenode//启动datanode
hdfs --daemon start datanode//关闭所有hdfs服务
sbin/stop-dfs.sh//启动zookeeper集群
zk.sh start//初始化HA在zookeeper中的状态
bin/hdfs zkfc -formatZK//启动hdfs服务
start-dfs.sh3、Yarn-HA
3.1 Yarn-HA工作机制 Yarn核心进程有两个分别是ResourceManager和NodeManagerNodeManager是每个节点有一个如果某个节点挂了则资源会少一点但ResourceManager挂了则会发生单点故障整个集群就用不了了及不能提交任何任务所以需要配置Yarn-HA。 Yarn-HA也以来于zookeeper集群启动多个ResourceManager谁先启动成功谁就到zookeeper注册为临时节点。后启动的也会去zookeeper上注册节点创建时发现节点已经存在即指定转为standby所有的standby节点以轮询的方式询问节点信息是否存在一旦节点信息不存在则立马主机注册为新的节点为Active即当一个Active的ResourceManager进程挂点之后zookeeper中的临时节点会自动删除。
3.2 Yarn-HA集群配置
3.2.1 集群规划 核心问题 1如果当前Active rm挂了其他Standby rm利用zk的临时节点上位 2当前rm上有很多计算程序在等待运行em会将当前所有计算机程序的状态存储在zk其他em上位后会读取任何接着跑。
3.2.2 配置Yarn-HA集群
配置yarn-site.xml删除原有的内容添加以下
propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!--启用resourcemanager ha--propertynameyarn.resourcemanager.ha.enabled/namevaluetrue/value/property!--声明两台resourcemanager的地址--propertynameyarn.resourcemanager.cluster-id/namevaluecluster-yarn1/value/property!-- 指定resourcemanager的逻辑列表 --propertynameyarn.resourcemanager.ha.rm-ids/namevaluerm1,rm2,rm3/value/property!--rm1的主机名--propertynameyarn.resourcemanager.hostname.rm1/namevaluehadoop102/value/propertypropertynameyarn.resourcemanager.hostname.rm2/namevaluehadoop103/value/propertypropertynameyarn.resourcemanager.hostname.rm3/namevaluehadoop104/value/property!--rm1的web端地址--propertynameyarn.resourcemanager.webapp.address.rm1/namevaluehadoop102:8088/value/propertypropertynameyarn.resourcemanager.webapp.address.rm2/namevaluehadoop103:8088/value/propertypropertynameyarn.resourcemanager.webapp.address.rm3/namevaluehadoop104:8088/value/property!--rm1的内部通信地址--propertynameyarn.resourcemanager.address.rm1/namevaluehadoop102:8032/value/propertypropertynameyarn.resourcemanager.address.rm2/namevaluehadoop103:8032/value/propertypropertynameyarn.resourcemanager.address.rm3/namevaluehadoop104:8032/value/property!--指定AM向rm1申请资源的地址--propertynameyarn.resourcemanager.scheduler.address.rm1/namevaluehadoop102:8030/value/propertypropertynameyarn.resourcemanager.scheduler.address.rm2/namevaluehadoop103:8030/value/propertypropertynameyarn.resourcemanager.scheduler.address.rm3/namevaluehadoop104:8030/value/property!--指定供NM连接的地址--propertynameyarn.resourcemanager.resource-tracker.address.rm1/namevaluehadoop102:8031/value/propertypropertynameyarn.resourcemanager.resource-tracker.address.rm2/namevaluehadoop103:8031/value/propertypropertynameyarn.resourcemanager.resource-tracker.address.rm3/namevaluehadoop104:8031/value/property!--指定zookeeper集群的地址-- propertynameyarn.resourcemanager.zk-address/namevaluehadoop102:2181,hadoop103:2181,hadoop104:2181/value/property!--启用自动恢复-- propertynameyarn.resourcemanager.recovery.enabled/namevaluetrue/value/property!--指定resourcemanager的状态信息存储在zookeeper集群-- propertynameyarn.resourcemanager.store.class/namevalueorg.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore/value/property!--环境变量的继承--propertynameyarn.nodemanager.env-whilelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value/property//分配到其他节点
xsync yarn-site.xml//关闭hdfs
sbin/stop-all.sh//开启hdfs
sbin/start-dfs.sh//将nn1切换为Active状态
hdfs haadmin -transitionToActive nn1//启动yarn
sbin/start-yarn.sh//查看服务状态
bin/yarn 1rmadmin -getServiceState rm1
