做微信公众号微网站,网站建设域名什么意思,横山桥网站,旅游网站建设ppt一、安装JDK
1、创建文件夹tools和training用于存放压缩包和解压使用#xff0c;tools存放压缩包#xff0c;training用于解压后安装jdk和hadoop的路径。
1#xff09;回到路径为 / 的位置
cd /2) 创建 tools 和 training
mkdir toolsmkdir training3) 进入tools文件夹 …一、安装JDK
1、创建文件夹tools和training用于存放压缩包和解压使用tools存放压缩包training用于解压后安装jdk和hadoop的路径。
1回到路径为 / 的位置
cd /2) 创建 tools 和 training
mkdir toolsmkdir training3) 进入tools文件夹
cd tools4) 左边mobaxterm里面点击进入/tools文件夹,将发给大家的压缩包直接鼠标拖入进去拖的是tar.gz压缩包不要在电脑里面解压过了拖的时候有进度条上传完后如图所示 2、JDK解压
1) 在控制台输入以下命令将文件解压至training文件夹如图所示路径在tools里面会有一堆进度条等他运行停止以后进行下一步
tar -zvxf jdk-8u144-linux-x64.tar.gz -C /training/2) 查看mobaxterm左边点击文件夹进到training里面查看解压情况,有这个文件夹了就说明解压成功了。 3、JDK安装
1控制台输入此命令回车进行环境配置 vi ~/.bash_profile2) 进入文件后是不可编辑的阅读状态使用键盘上下左右键将光标移动到蓝色的export PATH 的H上面按一下电脑的 i 键盘进入编辑模式按右键挪到H的后面然后回车两次在进行下一步。 3) 在文件中添加此配置直接复制粘贴若java版本不是从我这下的和我不同请自行在配置里更改版本编号144具体如图
#java
export JAVA_HOME/training/jdk1.8.0_144
export JRE_HOME$JAVA_HOME/jre
export CLASSPATH.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH$PATH:$JAVA_HOME/bin:$JRE_HOME/bin4) 按一下esc退出编辑模式 5) 输入 冒号wq然后回车, 不可复制直接键盘自己输此操作是保存文件并退出w是保存q是退出后面不会讲这么细忘记可以翻回来看如果不下心改错了不想保存退出则使用 :wq! ,就是不保存退出。
:wq6) 环境变量更改以后需要让他生效所以输入一下命令让环境变量生效。
source ~/.bash_profile7) 输入此命令检查java是否安装完毕如果弹出对应版本信息则成功安装java。 java -version二、安装Hadoop
1、关闭centos的防火墙不然影响后面hadoop远程连接
systemctl stop firewalld.servicesystemctl disable firewalld.service2、更改主机名为niit和我一样方便后续文件直接复制粘贴不用更改更改后不会马上显示关掉mobaxterm重新连接一下就好了。 hostnamectl --static set-hostname niit3、配置映射关系
1进入centos的hosts映射文件 vi /etc/hosts2添加ip编号 空格 主机名
每个人ip都不一样自己用自己的 具体怎么添加的参考上面的详细环境变量文件更改和保存操作一样的。
192.168.163.137 niit3wq保存退出
:wq4、配置另一个映射文件
1进入文件
vi /etc/sysconfig/network2添加主机名在这个文件里
niit3) :wq 保存退出
:wq5、进入/tools文件夹
cd /tools6、解压hadoop压缩包到training文件夹
tar -zvxf /tools/hadoop-3.3.0.tar.gz -C /training/7、Hadoop环境配置
1再次进入环境变量配置文件
vi ~/.bash_profile2添加如下配置,别动到之前的java,在后面换行添加就行
#hadoop
export HADOOP_HOME/training/hadoop-3.3.0
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin3wq保存退出
4生效环境变量
source ~/.bash_profile5输入hdfs检查hadoop是否安装成功,如果有这些东西出来了说明成功安装接下来去进行hadoop配置文件的配置。
hdfs三、Hadoop免密登录配置
1、创建免密登录数据存放文件
1在hadoop安装路径下创建一个tmp文件夹用于存放配置数据
mkdir /training/hadoop-3.3.0/tmp 2、免密配置
1进行hadoop ssh免密配置
a、输入以下代码回车四次什么都不要输入快速回车4次然后你会得到一个密码图形每个人不一样不用看我的图有图形就好了
ssh-keygen -t rsab、输入以下命令
cd ~/.ssh/c、输入以下命令niit是主机名和我不一样得换自己的
具体如图所示 ssh-copy-id -i id_rsa.pub rootniit四、Hadoop5个配置文件设置
1、进入Hadoop配置文件地址
cd /training/hadoop-3.3.0/etc/hadoop/2、第一个配置文件hadoop-env.sh用于设置jdk的
1输入命令进入编辑
vi hadoop-env.sh2进去后长这样 3往下滑动鼠标找到 4进入编辑模式在这一行下面一行添加此内容
export JAVA_HOME/training/jdk1.8.0_144
export HDFS_NAMENODE_USERroot
export HDFS_DATANODE_USERroot
export HDFS_SECONDARYNAMENODE_USERroot
export YARN_RESOURCEMANAGER_USERroot
export YARN_NODEMANAGER_USERroot5:wq保存退出
3、第二个配置文件hdfs-site.xml用于设置权限和数据块备份数量
1进入文件
vi hdfs-site.xml2进去长这样在两个configuration中间添加配置 3进入编辑模式添加内容
propertynamedfs.replication/namevalue1/value
/property
propertynamedfs.permissions/namevaluefalse/value
/property4wq保存退出
4、第三个配置文件core-site.xml用于设置主节点和临时文件夹
1进入文件
vi core-site.xml2进去长这样在configuration中间加 3添加内容niit是主机名不一样记得改8020不用动
propertynamefs.defaultFS/namevaluehdfs://niit:8020/value
/property
propertynamehadoop.tmp.dir/namevalue/training/hadoop-3.3.0/tmp/value
/property4wq保存退出
5、第四个配置文件mapred-site.xml用于设置mapreduce的运行环境
1进入文件
vi mapred-site.xml2进去长这样在configuration中间加 3添加内容
property namemapreduce.framework.name/namevalueyarn/value
/property6、第五个配置文件yarn-site.xml用于设置yarn
1进入文件
vi yarn-site.xml2进入长这样在箭头处添加 3添加内容
propertynameyarn.resourcemanager.hostname/namevalueniit/value
/property
propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value
/property4wq保存退出
五、Hadoop格式化主节点
hdfs namenode -format#注意: 如果格式化成功你可以看到如下信息: common.Storage: Storage directory /training/hadoop-3.3.0/tmp/dfs/name has been successfully formatted. 六、Hadoop启动与关闭
1、启动Hadoop
1启动命令
start-all.sh2是否启动成功进程检查
jps成功会有5个进程1个jps进程 如果成功看到5个hadoop进程恭喜你成功了只要少了任何一个进程说明上述所有步骤一点点小问题都会有影响从头检查一遍。
2、关闭Hadoop
stop-all.sh
