如何用天地图做网站,网站页头设计,商丘购物网站开发设计,石家庄模板做网站yarn集群部署案例
我们来基于一个案例讲解yarn集群部署 我们要部署yarn集群#xff0c;需要分别部署HDFS文件系统及YARN集群 Hadoop HDFS分布式文件系统#xff0c;我们会启动#xff1a;
NameNode进程作为管理节点DataNode进程作为工作节点SecondaryNamenode作为辅助
同…yarn集群部署案例
我们来基于一个案例讲解yarn集群部署 我们要部署yarn集群需要分别部署HDFS文件系统及YARN集群 Hadoop HDFS分布式文件系统我们会启动
NameNode进程作为管理节点DataNode进程作为工作节点SecondaryNamenode作为辅助
同理Hadoop YARN分布式资源调度会启动
ResourceManageri进程作为管理节点NodeManageri进程作为工作节点ProxyServer、JobHistoryServeri这两个辅助节点
集群规划如下
配置步骤
map reduce配置
在$HADOOP_HOME/etc/hadoop文件夹内修改mapred-env.sh文件添加如下环境变量在node1配置
#设置JDK路径
export JAVA_HOME/export/server/jdk
#设置JobHistoryServer进程内存为1G
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE1000
#设置日志级别为INFO
export HADOOP_MAPRED_ROOT_LOGGERINFO,RFAmapred-site.xml文件添加如下配置信息也在node1配置
propertynamemapreduce.f ramework.name/namevalueyarn/valuedescriptionMapReducel的运行框架设置为YARN/description
/propertypropertynamemapreduce.jobhistory.address/namevaluenodel:10020/valuedescription历史服务器通讯端口为node1:10020/description
/property以及一些路径配置
yarn配置
也是在node1配置
在${HADOOP_HOME}/etc/hadoop文件夹内,修改yarn-env.sh文件添加如下4行环境变量内容
#设置DK路径的环境变量
export JAVA_HOME/export/server/jdk
#设置HADOOP_HOME的环境变量
export HADOOP_HOME/export/server/hadoop
#设置配置文件路径的环境变显
export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop
#设置日志文件路径的环境变量
export HADOOP_LOG_DIR$HADOOP_HOME/logsyarn-site.xml文件配置如图属性
配置分发
分发配置文件到其他节点 MapReduce和YARN的配置文件修改好后需要分发到其它的服务器节点中。这里用scp命令
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2:pwd/
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node3:pwd/分发完成配置文件就可以启动YARN的相关进程啦。
常用的进程启动命令
一键启动YARN集群$HADOOP HOME/sbin/start-yarn.sh
会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager会基于workers.文件配置的主机启动NodeManager 一键停止YARN集群$HADOOP_HOME/sbin/stop-yarn.sh
在当前机器单独启动或停止进程 $HADOOP_HoME/bin/yarn–daemon start stop resourcemanager nodemanager proxyserver start和stop决定启动和停止 可控制resourcemanager、nodemanager、proxyserver:三种进程历史服务器启动和停止 $HADOOP_HOME/bin/mapred–daemon start stop historyserver
我们在配置好之后可以一键启动yarn集群然后可以打开http://node1:8088即可看到YARN集群的监控页面(ResourceManagerl的WEB UI)
yarn集群的启停
1、一键启停脚本 启动 $HADOOP_HOMEAsbin/start-yarn.sh 。从yarn-site.xml中读取配置确定ResourceManager所在机器并启动它 。读取workers文件确定机器启动全部的NodeManager 。在当前机器启动ProxyServer(代理服务器) 关闭 $HADOOP_HOME/sbin/stop-yarn.sh
2、单进程启停 除了一键启停外也可以单独控制进程的启停。 ·SHADOOP_HOME/bin/yarn,此程序也可以用以单独控制所在机器的进程的启停 用法yarn–daemon(start|stop)(resourcemanager nodemanager proxyserver) 。SHADOOP_HOME/bin/mapred,此程序也可以用以单独控制所在机器的历史服务器的启停 用法mapred–daemon(start|stop)historyserver
